大数据

kafka专题-1、集群安装

1、kafka集群安装1、前期准备1、需要3个服务器节点,并且节点都安装了java8 操作系统 ip hostname CentOS8 192.168.198.16 Dev1 CentOS8 192.168.198.17 Dev2 CentOS8 192.168.198.19 Dev3 2、组件版本 组件名称 版本 jdk 1.8.0_321 zook

使用 Docker 部署 RabbitMQ 的详细指南

使用 Docker 部署 RabbitMQ 的详细指南在现代应用程序开发中,消息队列系统是不可或缺的一部分。RabbitMQ 是一个流行的开源消息代理软件,它实现了高级消息队列协议(AMQP)。本文将详细介绍如何使用 Docker 部署 RabbitMQ,并提供一些配置和管理的技巧。 1. 前期准备在开始之前,请

FlinkSql入门与实践

一、为什么需要 Flink SQL? 传统 SQL 是面向静态数据的查询语言,而现代实时业务要求对动态数据流进行即时分析。Flink SQL 应运而生,它让开发者无需编写复杂的状态管理代码,就能实现实时ETL、复杂事件处理(CEP)、实时报表等场景。其核心优势在于: 统一流批接口:同

任务四:Hadoop下载,配置/启动以及操作(CentOS 9)

一、下载前的准备在下载 Hadoop 前,需确保系统满足以下要求:(一)Java 环境Hadoop 依赖 Java 运行,需安装 JDK 8 或更高版本。检查 Java 是否已安装,在终端输入以下命令:java -version若未安装,可以看我前面的文章。 (二&#xff

Hive SQL 快速入门指南

在大数据蓬勃发展的当下,处理海量数据成为企业面临的关键挑战。Hive SQL 作为一款强大的工具,为我们打开了高效处理大数据的大门。接下来,让我们一起踏上 Hive SQL 的入门之旅。​一、Hive SQL 是什么​Hive 是基于 Hadoop 的数据仓库工具,它允许我们使用类似 SQL 的语法来查询和分析存储在 Hadoop 分布式文件

@KafkaListener 消费注解解读

在 Spring Kafka 中,消费 Kafka 消息有多种方式,包括单条消费、批量消费、监听特定分区、以及手动控制消息确认(Ack机制)。我们可以通过 @KafkaListener 注解和配置 KafkaListenerContainerFactory 来实现这些功能。下面我会详细解释每种方式的实现。 1. 单条消费 (Consu

Flink内存模型--flink1.19.1

Flink 的 JobManager 和 TaskManager 在内存分配上有不同的职责和结构。以下是两者的内存分类及详细说明: 一、JobManager 内存分类 JobManager 主要负责作业调度、协调(如 Checkpoint 协调)、资源管理等,其内存需求相对较低,主要分为以下几个部分: 1. JV