大数据

1. 首页
2. IT互联网
3. 大数据

Spring Boot、Redis、RabbitMQ 在项目中的核心作用详解

文章目录 一、Spring Boot：快速开发的利器 1.1 Spring Boot 的核心作用 1.2 Spring Boot 项目结构 1.3 Spring Boot 自动配置原理 1.4 Spring Boot 在项目中的架构位置 二、Redis：高性能缓存与数据存储 2.1 Redis 的核心作用 2.2 Redis 在 Spring

大数据 2025年12月02日 151 点赞 0 评论 17561 浏览

Spark RDD 宽窄依赖：从 DAG 到 Shuffle 的性能之道

Spark RDD 宽窄依赖：从 DAG 到 Shuffle 的性能之道 🌟 你好，我是 励志成为糕手 ！ 🌌 在代码的宇宙中，我是那个追逐优雅与性能的星际旅人。 ✨ 每一行代码都是我种下的星光，在逻辑的土壤里生长成璀璨的银河； 🛠️ 每一个算法都是我绘制的星图

大数据 2025年11月04日 48 点赞 0 评论 17535 浏览

Hive的分区分桶和数据抽样

文章目录 分区 概念 分区表的操作 创建分区表 新建分区 导入数据到指定分区 写入数据到指定分区 删除分区 删除多个分区 查看分区 查看分区表结构 动态分区 1. 开启动态分区参数设置 2. 设置为非严格模式 3. 设置所有节点可创建的最大分区数 4. 设置单个节点可创建的最大分区数 5.设置整个MRJob可创建的最大文件数 6. 设置当有空分区产生时是否报错&#x

大数据 2025年05月23日 88 点赞 0 评论 17534 浏览

Spark的shuffle史上最详细解析 ， 应用场景等多维度

以下内容将对 Spark 中 Shuffle 的原理、流程、配置项、实际应用场景、常见问题及解决方案等进行全面、详细、细致的分析和阐述，并在必要处辅以示例和配置展示。最后会进行总结，同时给出项目中可能出现的场景、问题、优化方式，力求内容完善、翔实且具有可操作性。 一、Shuffle 的背景与概念 什么是 Shuffle？ 在分布式计算框架&

大数据 2025年04月27日 138 点赞 0 评论 17463 浏览

基于大数据爬虫+Python+SpringBoot+Hive的网络电视剧收视率分析与可视化平台系统(源码+论文+PPT+部署文档教程等)

 博主介绍：CSDN毕设辅导第一人、全网粉丝50W+,csdn特邀作者、博客专家、腾讯云社区合作讲师、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流✌ 技术范围：SpringBoot、Vue、SSM、HLMT、Jsp、P

大数据 2025年04月26日 194 点赞 0 评论 17442 浏览

Flink-sql-整理-窗口函数

1 窗口表值函数（Windowing TVFs）1.滚动窗口 2.滑动窗口 3.累积窗口 4.会话窗口 (目前仅支持流模式)**简述：**逻辑上，每个元素可以应用于一个或多个窗口，这取决于所使用的 窗口表值函数。例如：滑动窗口可以把单个元素分配给多个窗口。是 分组窗口函数 （已经过时）

大数据 2025年05月20日 171 点赞 0 评论 17422 浏览

大数据新视界 -- Hive 数据湖集成与数据治理（下）（26 / 30）

       💖💖💖亲爱的朋友们，热烈欢迎你们来到 青云交的博客！能与你们在此邂逅，我满心欢喜，深感无比荣幸。在这个瞬息万变的时代，我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的博客，正是这样一个温暖美好的所在。在这里，你们不仅能够收获既富有趣味又极为实用的内容知识，还可以毫无拘束地畅所欲言，尽情分享自己独特的见解。

大数据 2025年04月26日 144 点赞 0 评论 17387 浏览

【运维】Ubuntu apt 更新失败？Temporary failure resolving ‘cn.archive.ubuntu.com‘ 问题

Ubuntu apt 更新失败？Temporary failure resolving ‘cn.archive.ubuntu.com’ 问题在使用 Ubuntu 时，你是否遇到过这样一个烦人的错误： Temporary failure resolving ‘cn.archive.ubuntu.com’ 如果你也踩坑了，别慌！这篇文章手把手带你搞懂原因并彻底解决，避免反复踩坑。 💡 先说

大数据 2025年07月27日 144 点赞 0 评论 17352 浏览

Kafka架构：构建高吞吐量分布式消息系统的艺术

目录 Kafka架构：构建高吞吐量分布式消息系统的艺术 引言：探索Kafka的宇宙 Kafka核心概念与架构总览 什么是Kafka？ Kafka的核心架构组件 Kafka的数据模型 ZooKeeper在Kafka架构中的关键作用 ZooKeeper的核心职责 ZooKeeper的数据结构 ZooKeeper集群配置 Cont

大数据 2025年09月26日 133 点赞 0 评论 17329 浏览

从 “T+1” 到 “秒级”：MySQL+Flink+Doris 构建实时数据分析全链路

一、背景：传统数据处理的痛点催生新组合随着业务数字化深入，企业对 “数据价值挖掘” 的需求从 “离线统计” 转向 “实时洞察”，但传统数据处理方案存在明显短板，成为业务增长的瓶颈： OLTP 与 OLAP 资源争抢：传统方案中，业务交易（如 MySQL 下单）与分析查询&

大数据 2025年12月10日 192 点赞 0 评论 17228 浏览