大数据

保姆级·在Windows本地配置并运行Kafka

目录 一.下载并安装Idea:进入idea官网:IntelliJ IDEA 下载最新版idea(安装及其他问题请参考其他大佬的文章) 二.下载并安装JDK:1.进入idk官网:JDK 下载最新版jdk2.将jdk路径配置到windows环境变量下(JAVA_HOME),并将

Spring Boot 集成 Kafka 消息发送方案

一、引言在 Spring Boot 项目中,Kafka 是常用的消息队列,可实现高效的消息传递。本文介绍三种在 Spring Boot 中使用 Kafka 发送消息的方式,分析各自优缺点,并给出对应的 pom.xml 依赖。 二、依赖引入在 pom.xml 中添加以下依赖:<dependencies> <!-- Spring Boot Starter for Kafka

Flink 1.14.6 版本 lib 目录依赖Jar包资源

Flink 1.14.6 版本 lib 目录依赖Jar包资源 【下载地址】Flink1.14.6版本lib目录依赖Jar包资源 该项目为 Flink 1.14.6 版本提供了完整的 lib 目录依赖 Jar 包资源,涵盖了数据库连接器、SQL 连接器、分布式计算及模拟数据生成等核心功能。包括 flink-connector-jdbc、flink-doris-connector、f

Hive的分区分桶和数据抽样

文章目录 分区 概念 分区表的操作 创建分区表 新建分区 导入数据到指定分区 写入数据到指定分区 删除分区 删除多个分区 查看分区 查看分区表结构 动态分区 1. 开启动态分区参数设置 2. 设置为非严格模式 3. 设置所有节点可创建的最大分区数 4. 设置单个节点可创建的最大分区数 5.设置整个MRJob可创建的最大文件数 6. 设置当有空分区产生时是否报错&#x

【Linux】已解决E: Unable to fetch some archives, maybe run apt-get update or try with --fix-missing?

个人简介:某不知名博主,致力于全栈领域的优质博客分享 | 用最优质的内容带来最舒适的阅读体验!文末获取免费IT学习资料!🍅 文末获取更多信息 🍅 👇🏻 精彩专栏推荐订阅收藏 👇🏻 专栏系列 直达链接 相关介绍 书籍分享 点我跳转

【RabbitMQ】RabbitMQ的下载安装及使用

安装RabbitMQ下载网站: 下载Erlang Erlang也是一种编程语言,只是比较小众,但其拥有极为出色的性能 这个网站是到GitHub上下载的,可能需要点魔法,也可以去Erlang官网下载(能下,但慢) 下载RabbitMQ下载Erl

学习记录:第二章hadoop集群配置、安装hive、sqoop

hadoop集群配置 hadoop集群主要配置文件 配置文件 功能描述 hadoop-env.sh 配置Hadoop运行所需的环境变量 yarn-env.sh 配置Yarn运行所需的环境变量 core- site.xml Hadoop核心全局配置文件,可在其他配置文件中引用 hdfs-site.xml HDFS配置文件,继承core-site.xm

Zookeeper的监听机制及原理解析

系列文章目录手把手教你安装Zookeeper 及可视化插件ZooInspector、ZKUI Zookeeper入门篇,了解ZK存储特点 使用Zookeeper的监听及原理解析 系列文章目录 前言 一、监听机制的基本概念 二、Zookeeper监听原理 1. 事件类型 2. 监听模式与监听器类型 (1)监听模式 (2&#x

Kafka、RabbitMQ、RocketMQ的区别

Kafka、RabbitMQ、和RocketMQ 都是广泛使用的消息中间件,它们各自有不同的特点、架构设计和应用场景。下面是它们之间的主要区别: 1. 架构设计 Kafka: Kafka 是一个分布式流处理平台,最初由 LinkedIn 开发,主要用于处理大规模数据流。 Kafka 的架构包括 Producer(生