大数据

kafka专题-1、集群安装

1、kafka集群安装1、前期准备1、需要3个服务器节点,并且节点都安装了java8 操作系统 ip hostname CentOS8 192.168.198.16 Dev1 CentOS8 192.168.198.17 Dev2 CentOS8 192.168.198.19 Dev3 2、组件版本 组件名称 版本 jdk 1.8.0_321 zook

使用 Docker 部署 RabbitMQ 的详细指南

使用 Docker 部署 RabbitMQ 的详细指南在现代应用程序开发中,消息队列系统是不可或缺的一部分。RabbitMQ 是一个流行的开源消息代理软件,它实现了高级消息队列协议(AMQP)。本文将详细介绍如何使用 Docker 部署 RabbitMQ,并提供一些配置和管理的技巧。 1. 前期准备在开始之前,请

FlinkSql入门与实践

一、为什么需要 Flink SQL? 传统 SQL 是面向静态数据的查询语言,而现代实时业务要求对动态数据流进行即时分析。Flink SQL 应运而生,它让开发者无需编写复杂的状态管理代码,就能实现实时ETL、复杂事件处理(CEP)、实时报表等场景。其核心优势在于: 统一流批接口:同

@KafkaListener 消费注解解读

在 Spring Kafka 中,消费 Kafka 消息有多种方式,包括单条消费、批量消费、监听特定分区、以及手动控制消息确认(Ack机制)。我们可以通过 @KafkaListener 注解和配置 KafkaListenerContainerFactory 来实现这些功能。下面我会详细解释每种方式的实现。 1. 单条消费 (Consu

什么是延迟队列?RabbitMQ 如何实现延迟队列?

什么是延迟队列 定义:延迟队列是一种特殊的队列,队列中的元素(消息)并不会立即被消费者获取并处理,而是在经过一段指定的延迟时间后,才会被消费者消费。它主要用于需要在特定时间点或经过一定时间间隔后执行的任务场景。 RabbitMQ实现延迟队列的方法 利用消息的TTL(Time-To-Live&#xff

Docker保存镜像和导入镜像文件(图文详解)

Docker保存镜像和导入镜像文件(图文详解)Docker 保存和导入镜像文件是 Docker 镜像管理中的两个关键操作,它们在不同的场景下有着各自的意义和用途。以下是对这两个操作的详细说明: 1 基本命令介绍 1.1 Docker 保存镜像(docker save)命令格式:docker save

Flink内存模型--flink1.19.1

Flink 的 JobManager 和 TaskManager 在内存分配上有不同的职责和结构。以下是两者的内存分类及详细说明: 一、JobManager 内存分类 JobManager 主要负责作业调度、协调(如 Checkpoint 协调)、资源管理等,其内存需求相对较低,主要分为以下几个部分: 1. JV