大数据

1. 首页
2. IT互联网
3. 大数据

Spark RDD 编程从驱动程序到共享变量、Shuffle 与持久化

1. Spark 应用的基本形态 Driver（驱动程序）：运行你的 main 函数，负责构建 DAG、提交任务、汇总结果。 Executors（执行器）：分布在集群各节点，执行并行任务。 RDD（Resilient Distributed Dataset&#xff

大数据 2025年11月23日 113 点赞 0 评论 4368 浏览

【分布式利器：Kafka】Kafka基本原理详解：架构、流转机制与高吞吐核心（附实战配置）

在大数据和实时流处理领域，Kafka是当之无愧的“流量枢纽”。从日志收集（如ELK栈）到实时数据分析（如Flink+Kafka），再到数据管道（跨系统数据同步），Kafka以“百万级TPS、TB级存储、毫秒级延迟”的特性，成为分布式系统中连接数据生产者

大数据 2025年11月23日 35 点赞 0 评论 11695 浏览

SpringBoot 集成 Kafka

（一）Kafka介绍Kafka 也是是我们在开发过程中经常会使用的一种消息队列Kafka的核心概念包括Producer、Consumer、Broker、Topic、Partition和Offset。 Producer：生产者，负责将数据发送到Kafka集群。 Consumer：消费者，从Kafka集群中读取数据

大数据 2025年11月23日 147 点赞 0 评论 3278 浏览

计算机毕业设计PySpark+Hadoop+Hive+LSTM模型美团大众点评分析+评分预测 美食推荐系统(源码+论文+PPT+讲解视频)

温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 温馨提示：文末有 CSDN 平台官方提供的学长联系方式的名片！ 信息安全/网络安全 大模型、大数据、深度学习领域中科院硕士在读，所有源码均一手开发&#x

大数据 2025年11月23日 141 点赞 0 评论 3601 浏览

系统分析师-案例分析-数据库系统&数据仓库&反规范化技术&NoSQL&内存数据库

目录一、数据库系统1.1 不规范化带来的四大问题1.2 并发控制1.3 封锁协议1.4 数据库性能优化、完整性约束、安全性1.5 分布式数据库1.6 数据分片1.7 分布透明性二、数据仓库集成三、反规范化技术四、NoSQL&内存数据库NoSQL内存数据库CAP 理论相关推荐一、数据库系统1.1 不规范化带来的四大问题不规范化带来的四大问题 设有一个关系模式R（SNAME&#x

大数据 2025年11月23日 186 点赞 0 评论 6503 浏览

Kafka可视化工具KafkaTool工具的使用

Kafka Tool工具 介绍使用Kafka的小伙伴，有没有为无法直观地查看 Kafka 的 Topic 里的内容而发过愁呢？下面推荐给大家一款带有可视化页面的Kafka工具：Kafka Tool （目前最新版本是 3.0.2） 注意：以前叫Kafka Tool现在官方已更名为Offset Explorer,为了

大数据 2025年11月23日 190 点赞 0 评论 4824 浏览

RabbitMQ 篇-深入了解延迟消息、MQ 可靠性（生产者可靠性、MQ 可靠性、消费者可靠性）

🔥博客主页： 【小扳_-CSDN博客】 ❤感谢大家点赞👍收藏⭐评论✍ 文章目录        1.0 RabbitMQ 的可靠性        2.0 发送者的可靠性        2.1 生产者重试机制        2.2 生产者确认机制        2.2.1 开启生产者确认机制        2.2.2 定义 ReturnCallba

大数据 2025年11月23日 68 点赞 0 评论 18220 浏览

RabbitMQ---集群搭建（HAProxy负载均衡高可用）

提示：本次搭建只是rabbitmq服务的高可用负载均衡而不是rabbitmq消息的高可用负载均衡 文章目录 前言 RabbitMQ 集群 + HAProxy 高可用架构介绍 1️⃣ RabbitMQ 集群概念 🔹 节点类型 🔹 集群特点 2️⃣ HAProxy 在 RabbitMQ 集群中的作用 &#x1f

大数据 2025年11月23日 121 点赞 0 评论 7056 浏览

毕业设计|基于Spark技术的智能交通数据分析系统设计与实现

一、项目背景随着城市化进程的不断加速，机动车保有量持续攀升，交通拥堵、事故频发、环境污染等问题日益成为制约城市发展、影响居民生活质量的瓶颈。传统的交通管理系统主要依赖于固定传感器和人工经验，难以应对现代交通流量的动态性、实时性和海量性。在此背景下，“智能交通系统”应运而生，它旨在利用先进的信息技术、数据通信技术和数据处理技术&#

大数据 2025年11月21日 183 点赞 0 评论 12960 浏览

Java 大视界 -- Java 大数据机器学习模型在电商商品推荐系统中的冷启动问题攻克与个性化推荐强化（427）

Java 大视界 -- Java 大数据机器学习模型在电商商品推荐系统中的冷启动问题攻克与个性化推荐强化（427） 引言： 正文： 一、电商推荐冷启动的三大核心痛点与行业现状 1.1 三类冷启动场景的具体表现 1.2 传统解决方案的局限性 二、Java 大数据机器学习的冷启动解决方案 2.

大数据 2025年11月21日 184 点赞 0 评论 5435 浏览