大数据

学习记录:第二章hadoop集群配置、安装hive、sqoop

hadoop集群配置 hadoop集群主要配置文件 配置文件 功能描述 hadoop-env.sh 配置Hadoop运行所需的环境变量 yarn-env.sh 配置Yarn运行所需的环境变量 core- site.xml Hadoop核心全局配置文件,可在其他配置文件中引用 hdfs-site.xml HDFS配置文件,继承core-site.xm

Zookeeper的监听机制及原理解析

系列文章目录手把手教你安装Zookeeper 及可视化插件ZooInspector、ZKUI Zookeeper入门篇,了解ZK存储特点 使用Zookeeper的监听及原理解析 系列文章目录 前言 一、监听机制的基本概念 二、Zookeeper监听原理 1. 事件类型 2. 监听模式与监听器类型 (1)监听模式 (2&#x

Kafka、RabbitMQ、RocketMQ的区别

Kafka、RabbitMQ、和RocketMQ 都是广泛使用的消息中间件,它们各自有不同的特点、架构设计和应用场景。下面是它们之间的主要区别: 1. 架构设计 Kafka: Kafka 是一个分布式流处理平台,最初由 LinkedIn 开发,主要用于处理大规模数据流。 Kafka 的架构包括 Producer(生

【数据分析】Power BI的使用教程

目录 1 Power BI架构 1.1 Power BI Desktop 1.2 Power BI服务 1.3 Power BI移动版 2 Power Query 2.1 Power Query编辑器 2.2 Power Query的优点 2.3 获取数据 2.4 数据清洗的常用操作 2.4.1 提升标题 2.4.2 更改数据类型 2.4.3 删除错误/空值 2.

详解RabbitMQ工作模式之简单模式

目录简单模式定义工作流程应用场景优点缺点小结使用案例引入依赖编写生产者代码创建连接 创建Channel声明一个队列发送消息释放资源整体代码管理界面观察队列消息编写消费者代码创建连接+创建Channel+声明队列消费消息释放资源整体代码运行程序原因分析及解决办法 简单模式定义 简单模式(Queue模式)是RabbitMQ中最基础的消息传递模式。在这种模

一、Hadoop历史发展与优劣势

引言:大数据浪潮中的“大象”——Hadoop 的足迹与权衡当数据以前所未有的速度和规模涌现,大数据时代悄然来临,传统的数据处理方式显得力不从心。在这样的背景下,Hadoop 应运而生,如同一头强健而可靠的大象,为处理海量数据开辟了新的道路。它不仅仅是一个技术框架,更是大数据领域发展的一个重要里程碑。回

k8s部署ELK系列二:集成Kafka实现数据缓冲

k8s部署ELK系列二:集成Kafka实现数据缓冲 文章目录 k8s部署ELK系列二:集成Kafka实现数据缓冲 一、Kafka简介 二、Kafka实战部署 1. 创建Namespace(elk-namespace.yaml) 2. 创建ConfigMap(kafka-config.yaml) 3.