大数据

1. 首页
2. IT互联网
3. 大数据

大数据分布式计算基础：一文梳理HDFS、YARN、Spark核心组件及工作流程

大数据分布式计算基础：一文梳理HDFS、YARN、Spark核心组件及工作流程 关键词：HDFS；YARN；Spark；分布式计算；大数据存储；资源管理；并行处理 摘要：本文以"图书馆"为类比，用通俗易懂的语言拆解大数据分布式计算的三大核心组

大数据 2026年02月04日 146 点赞 0 评论 6719 浏览

一文搞懂Hive临时表操作秘籍

Hive 临时表：数据处理的得力助手 在大数据处理的广阔领域中，Hive 凭借其强大的数据仓库功能，成为了众多数据分析师和开发者的得力工具。Hive 提供了类似 SQL 的查询语言 HiveQL，让我们能够方便地对存储在 Hadoop 分布式文件系统（HDFS）上的大规模数据进行查询、分析和处理。而临时表&#xff

大数据 2025年08月16日 60 点赞 0 评论 6679 浏览

详解RabbitMQ高级特性之事务

目录事务添加配置常量类声明队列设置RabbitTemplate编写生产消息代码1观察效果编写生产消息代码2观察效果​编辑配置事务管理器观察效果事务 RabbitMQ是基于AMQP协议实现的, 该协议实现了事务机制, 因此RabbitMQ也⽀持事务机制. Spring AMQP也提供了对事务相关的操作. RabbitMQ事务允许开发者确保消息的发送和接收是原⼦性的, 要么全部成功, 要么全部失败

大数据 2025年10月17日 86 点赞 0 评论 6670 浏览

MYSQL调优详解：案例解析（第40天）

系列文章目录一、数据库设计优化 二、查询优化 三、架构优化 四、其他优化策略 五、优化案例解析 文章目录 系列文章目录 前言 一、数据库设计优化 二、查询优化 三、架构优化 四、其他优化策略 五、优化案例解析 案例一：优化SELECT查询 案例二：使用索引 案例三：优化JOIN操作 案例四：避免在WHERE子句中使用函数 案例

大数据 2025年04月28日 112 点赞 0 评论 6648 浏览

Java 大视界 -- 基于 Java 的大数据实时流处理在工业物联网设备故障预测与智能运维中的应用（384）

Java 大视界 -- 基于 Java 的大数据实时流处理在工业物联网设备故障预测与智能运维中的应用（384） 引言： 正文： 一、工业设备运维的 “老大难”：不是 “修得慢” 那么简单 1.1 师傅与设备的 “信息差” 1.1.1 数据 “滞后” 导致的停机灾难 1.1.2 故障 “

大数据 2025年08月11日 183 点赞 0 评论 6582 浏览

Java 大视界 -- Java 大数据在智慧港口集装箱调度与物流效率提升中的应用创新（159）

       💖亲爱的朋友们，热烈欢迎来到 青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！💖一、欢迎加入【福利社群】点击快速加入1： 青云交技术圈福利社群（

大数据 2025年04月26日 136 点赞 0 评论 6516 浏览

一文搞懂Flink 的 Materialized Table：简化数据管道的利器

你好，我是 shengjk1，多年大厂经验，努力构建 通俗易懂的、好玩的编程语言教程。 欢迎关注！你会有如下收益： 了解大厂经验 拥有和大厂相匹配的技术等 希望看什么，评论或者私信告诉我！ 文章目录 一、背景 二、Materialized Table 优势 （一&#xff

大数据 2025年05月25日 110 点赞 0 评论 6481 浏览

大数据爬虫可视化分析：基于Python的豆瓣书籍可视化分析系统的设计与实现

这里写目录标题 大数据爬虫可视化分析：基于Python的豆瓣书籍可视化分析系统的设计与实现 一、项目概述 二、项目说明 三、研究意义 四、系统总体架构设计 技术架构 五、需求分析 六、系统设计 完整架构图 架构核心说明 七、系统总体框架设计图（分层 + 模块化架构） 框架设计说明

大数据 2025年12月10日 197 点赞 0 评论 6466 浏览

RabbitMQ之监听和@RabbitListener解析

为什么生产者需要创建RabbitTemplate这么一个Bean才能发送消息，而监听却只需要加一个@RabbitListener注解即可        首先，我们需要回顾在不使用SpringBoot时是怎样使用rabbitmq发送和接受消息的        生产者实现： public void testSendMessage() throws IO

大数据 2025年07月14日 192 点赞 0 评论 6465 浏览

一文说清楚Hive中常用的聚合函数[collect_list]

collect_list(col)是Hive中常用的聚合函数，用于将分组内的某列值（col）收集到一个数组中。它的核心作用是将多行数据合并为单行的数组结构，常用于数据重组或复杂分析场景。以下是详细说明和示例： 一、函数特点 分组聚合：需配合GROUP BY使用，将每个分组内的col值收集为数组。

大数据 2025年08月16日 176 点赞 0 评论 6377 浏览