大数据

1. 首页
2. IT互联网
3. 大数据

Spark大数据分析与实战笔记（第六章 Kafka分布式发布订阅消息系统-03）

文章目录 每日一句正能量 第6章 Kafka分布式发布订阅消息系统 章节概要 6.3 Kafka 集群部署与测试 6.3.1 安装Kafka 6.3.2 启动Kafka服务 每日一句正能量 也许生活中偶有黯淡无光的时刻，但别忘了还有未实现的梦想，努力朝着自己的目标一点点前进。幸福就是每一个微小目标的达成。这些温暖明亮的小目标，一定

大数据 2026年02月08日 182 点赞 0 评论 6608 浏览

Flink 如何部署在没有Hadoop的机器上

引言本文主要介绍Flink on Yarn 模式下 ,Flink 需要不需要与Hadoop 部署在相同机器上？如果不需要，那推荐是部署在相同机器上还是部署在不同机器上？ 结论写在前面在 Flink on YARN 模式下，Flink 不需要与 Hadoop 部署在同一台机器上，它其实只需要能够访问 Hadoop 集群的环境&#

大数据 2025年04月27日 92 点赞 0 评论 6544 浏览

Spring Boot 整合 RabbitMQ

Spring Boot 整合 RabbitMQ 一、概述：RabbitMQ 是什么？你可以把 RabbitMQ 想象成一个「快递中转站」。 比如你在网上买了一本书，卖家（生产者）把包裹（消息）交给快递站（RabbitMQ），快递站根据包裹上的地址&#xff0

大数据 2025年08月19日 37 点赞 0 评论 6527 浏览

【大数据技术-HBase-关于Hmaster、RegionServer、Region等组件功能和读写流程总结】

Hmaster的作用负责命名空间、表的创建和删除等一些DDL操作、region分配和负载均衡，并不参与数据读写，相比与其他大数据组件，如hdfs的namenode，在hbase中，Hmaster的作用是比较弱化的，即使挂掉，也暂时不影响现有表的读写。 RegionServer的作用一个机器上一个regionserver进程，主要负责管理多个region，接受客户端读写请求并交给region进行处

大数据 2025年05月20日 127 点赞 0 评论 6489 浏览

极客星闪 | 筑基：轻量级方案之 VS Code + HiSpark 插件开发环境搭建

TL;DR (核心摘要)：本文档介绍在 Windows 下通过 VS Code 配合 HiSpark Studio 扩展插件搭建开发环境的完整流程。该方案具备轻量化、易操作的特点，涵盖从软件安装到源码编译、镜像烧录及串口监控的全过程。 1. 安装 VS Code1.1 准备工作与环境检查 VS Code 安装包下载：

大数据 2026年06月06日 139 点赞 0 评论 6385 浏览

超越放射科医生：详解 REDMOD 框架在胰腺癌“亚视觉”阶段的早期检测实现

REDMOD（Radiomics-based Early Detection MODel）框架是胰腺癌早期筛查领域的一项突破性进展。它通过捕捉那些“肉眼不可见”的微细病理信号，显著提升了临床诊断的时间窗。以下是对该框架的深度解读： 1. 什么是“亚视觉（Subvisual）”影像特征？所谓的“亚视觉”

大数据 2026年07月26日 43 点赞 0 评论 6346 浏览

RabbitMQ 工作模式使用案例之（发布订阅模式、路由模式、通配符模式）

Hi~！这里是奋斗的明志，很荣幸您能阅读我的文章，诚请评论指点，欢迎欢迎 ~~ 🌱🌱个人主页：奋斗的明志 🌱🌱所属专栏：RabbitMQ 📚本系列文章为个人学习笔记，在这里撰写成文一为巩固知识，

大数据 2025年05月20日 180 点赞 0 评论 6337 浏览

Flink CDC 入门实战：从原理到踩坑全记录 (datastream/SQL 双版本)

Flink CDC 入门实战：从原理到踩坑全记录 (Java/SQL 双版本)在构建实时数仓和数据湖的过程中，CDC (Change Data Capture) 是数据摄入最核心的环节。传统的 CDC 链路往往比较复杂，而 Flink CDC 凭借其“去 Kafka 化”的极简架构、全增量一体化读取以及无锁算法，成为了目前最主流的数据同步方

大数据 2026年04月07日 110 点赞 0 评论 6335 浏览

时序数据库选型从迷茫到清晰：国产DolphinDB凭什么成为大数据场景下的首选？

引言我做大数据开发从最早的传统数仓到现在的物联网、金融量化项目，见过太多团队在时序数据库选型上栽跟头。最近两三年，我接到的咨询里，十个大数据项目有七八个要用时序数据库：设备测点、金融要存行情tick数据、互联网要存业务监控指标、车联网要存车辆运行数据……越来越多的业务产生海量带时间戳的数据，传统数据库顶不住，专门

大数据 2026年05月08日 76 点赞 0 评论 6324 浏览

Sqoop导出实战：从Hive到关系型数据库的数据迁移全攻略

Sqoop导出实战：从Hive到关系型数据库的数据迁移全攻略 1. 引言：为什么需要将Hive数据导出到关系型数据库？ 2. 核心原理：Sqoop Export如何工作？ 2.1 架构本质：Map-Only作业 2.2 完整执行流程图 3. 两种核心导出方法 3.1 方法一&#xff1a

大数据 2026年04月11日 41 点赞 0 评论 6323 浏览