大数据

Kafka 的 ACK 机制详解

1.ACK 机制的基本概念ACK(Acknowledgment)即确认机制,是 Kafka 生产者和 Broker 之间的一种消息确认约定。生产者在发送消息后,需要等待 Broker 端的确认信号,以此判断消息是否成功发送。这一机制主要是为了保证消息不会因为网络问题或 Broker 故障而丢失,确保数据的可靠性。

Flink学习笔记:整体架构

开一个新坑,系统性的学习下 Flink,计划从整体架构到核心概念再到调优方法,最后是相关源码的阅读。今天就来学习 Flink 整体架构,我们先看官网的架构图图中包含三部分,分别是 Client、JobManager 和 TaskManager。其中 Client 并不属于 Flink 集群,它主要用来把用户编写的程

Windows 下 Kafka 安装教程(保姆级)

一、准备工作✅ 1. 安装 Java JDK(Kafka 依赖 Java 运行环境)Kafka 是基于 Java 的,必须先安装 JDK。一般学到kafka的同学肯定已经安装好了JDK了,这一步我就不写了,具体可以参考其他文章。⚠️ 注意:Kafka 3.9.0 要求本地必须安装 JDK 17 或以上版本。JDK

大数据实例-基于Python的体育比赛数据分析,基于数据可视化的体育比赛数据分析(源码+LW+部署文档+全bao+远程调试+代码讲解等)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围::小程序、SpringBoot、SSM、JSP、Vue、PHP、Java、python、爬虫

基于Hadoop的明星社交媒体影响力数据挖掘平台设计和实现(源码+论文+部署讲解等)

博主介绍:CSDN毕设辅导第一人、靠谱第一人、全网粉丝50W+,csdn特邀作者、博客专家、腾讯云社区合作讲师、CSDN新星计划导师、Java领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流✌ 技术范围:SpringBoot、Vue、SSM、HLMT、

什么是SparkONYarn模式

1. 什么是 Spark on YARN?Spark on YARN 是 Apache Spark 的一种部署模式,允许 Spark 应用程序在 Hadoop YARN 集群上运行,充分利用 YARN 的资源管理和调度能力。这种模式将 Spark 与 Hadoop 生态深度集成,使企业能够在同一集群上统一管理批处理、流处理、交互式查询等多种工

Hadoop完全分布式集群搭建

一、修改主机名在Centos7中直接使用root用户执行hostnamectl命令修改,重启(reboot)后永久生效。之后重启mobaXterm二、修改连接会话的名称选中对应的连接——单击鼠标右键——rename session——输入会话的新名称即可三、关闭防火墙1.查看防火墙状态2.停止防火墙但是注意,这个命令只是暂时关闭防火墙&#xf

详解RabbitMQ高级特性之延迟队列

目录延迟队列应用场景TTL+死信队列 实现延迟队列添加配置常量类声明队列和交换机并绑定二者关系编写生产消息代码编写消费消息代码观察效果修改生产消息代码观察效果延迟队列 延迟队列(Delayed Queue),即消息被发送以后, 并不想让消费者⽴刻拿到消息, ⽽是等待特定时间后,消费者才能拿到这个消息进⾏消费. 应用场景延迟队列的使⽤场景有很多, ⽐如&#x

Java 大视界 -- Java 大数据在智能建筑能耗监测与节能策略制定中的应用(182)

       💖亲爱的朋友们,热烈欢迎来到 青云交的博客!能与诸位在此相逢,我倍感荣幸。在这飞速更迭的时代,我们都渴望一方心灵净土,而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识,也期待你毫无保留地分享独特见解,愿我们于此携手成长,共赴新程&#xff

详解RabbitMQ多机多节点搭建集群

目录RabbitMQ多机多节点搭建集群安装RabbitMQ配置hosts文件配置Erlang Cookie构建集群查看集群状态常见问题RabbitMQ多机多节点搭建集群安装RabbitMQ安装RabbitMQ的步骤可参考之前的博客文章。安装好RabbitMQ之后,使用如下命令确定节点状态: rabbitmqctl status    #确认节点状态 可以查看到节点