Flink 如何部署在没有Hadoop的机器上 引言本文主要介绍Flink on Yarn 模式下 ,Flink 需要不需要与Hadoop 部署在相同机器上?如果不需要,那推荐是部署在相同机器上还是部署在不同机器上? 结论写在前面在 Flink on YARN 模式下,Flink 不需要与 Hadoop 部署在同一台机器上,它其实只需要能够访问 Hadoop 集群的环境&# 大数据 2025年04月27日 92 点赞 0 评论 6544 浏览
Spark大数据分析与实战笔记(第六章 Kafka分布式发布订阅消息系统-03) 文章目录 每日一句正能量 第6章 Kafka分布式发布订阅消息系统 章节概要 6.3 Kafka 集群部署与测试 6.3.1 安装Kafka 6.3.2 启动Kafka服务 每日一句正能量 也许生活中偶有黯淡无光的时刻,但别忘了还有未实现的梦想,努力朝着自己的目标一点点前进。幸福就是每一个微小目标的达成。这些温暖明亮的小目标,一定 大数据 2026年02月08日 182 点赞 0 评论 6608 浏览
PyFlink DataStream 程序骨架、常用 Source/Sink、状态(State)、与 Table/SQL 互转一篇搞定 1. PyFlink DataStream 作业的通用结构一个标准的 DataStream 作业,通常有 5 步:1)创建 StreamExecutionEnvironment 2)创建 Source 得到初始 DataStream 3)编排 transformation(map/filter/key_by/re 大数据 2026年04月19日 81 点赞 0 评论 6730 浏览
RabbitMQ之监听和@RabbitListener解析 为什么生产者需要创建RabbitTemplate这么一个Bean才能发送消息,而监听却只需要加一个@RabbitListener注解即可 首先,我们需要回顾在不使用SpringBoot时是怎样使用rabbitmq发送和接受消息的 生产者实现: public void testSendMessage() throws IO 大数据 2025年07月14日 192 点赞 0 评论 6743 浏览
一文说清楚Hive中常用的聚合函数[collect_list] collect_list(col)是Hive中常用的聚合函数,用于将分组内的某列值(col)收集到一个数组中。它的核心作用是将多行数据合并为单行的数组结构,常用于数据重组或复杂分析场景。以下是详细说明和示例: 一、函数特点 分组聚合:需配合GROUP BY使用,将每个分组内的col值收集为数组。 大数据 2025年08月16日 176 点赞 0 评论 6757 浏览
一文搞懂Flink 的 Materialized Table:简化数据管道的利器 你好,我是 shengjk1,多年大厂经验,努力构建 通俗易懂的、好玩的编程语言教程。 欢迎关注!你会有如下收益: 了解大厂经验 拥有和大厂相匹配的技术等 希望看什么,评论或者私信告诉我! 文章目录 一、背景 二、Materialized Table 优势 (一ÿ 大数据 2025年05月25日 110 点赞 0 评论 6836 浏览
大数据爬虫可视化分析:基于Python的豆瓣书籍可视化分析系统的设计与实现 这里写目录标题 大数据爬虫可视化分析:基于Python的豆瓣书籍可视化分析系统的设计与实现 一、项目概述 二、项目说明 三、研究意义 四、系统总体架构设计 技术架构 五、需求分析 六、系统设计 完整架构图 架构核心说明 七、系统总体框架设计图(分层 + 模块化架构) 框架设计说明 大数据 2025年12月10日 197 点赞 0 评论 6876 浏览
Java 大视界 -- 基于 Java 的大数据实时流处理在工业物联网设备故障预测与智能运维中的应用(384) Java 大视界 -- 基于 Java 的大数据实时流处理在工业物联网设备故障预测与智能运维中的应用(384) 引言: 正文: 一、工业设备运维的 “老大难”:不是 “修得慢” 那么简单 1.1 师傅与设备的 “信息差” 1.1.1 数据 “滞后” 导致的停机灾难 1.1.2 故障 “ 大数据 2025年08月11日 183 点赞 0 评论 6908 浏览
详解RabbitMQ高级特性之事务 目录事务添加配置常量类声明队列设置RabbitTemplate编写生产消息代码1观察效果编写生产消息代码2观察效果编辑配置事务管理器观察效果事务 RabbitMQ是基于AMQP协议实现的, 该协议实现了事务机制, 因此RabbitMQ也⽀持事务机制. Spring AMQP也提供了对事务相关的操作. RabbitMQ事务允许开发者确保消息的发送和接收是原⼦性的, 要么全部成功, 要么全部失败 大数据 2025年10月17日 86 点赞 0 评论 6964 浏览
Java 大视界 -- Java 大数据在智慧港口集装箱调度与物流效率提升中的应用创新(159) 💖亲爱的朋友们,热烈欢迎来到 青云交的博客!能与诸位在此相逢,我倍感荣幸。在这飞速更迭的时代,我们都渴望一方心灵净土,而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识,也期待你毫无保留地分享独特见解,愿我们于此携手成长,共赴新程!💖一、欢迎加入【福利社群】点击快速加入1: 青云交技术圈福利社群( 大数据 2025年04月26日 136 点赞 0 评论 6974 浏览