大数据

学习秒杀系统-异步下单(包含RabbitMQ基础知识)

文章目录 前言 预备知识:RabbitMQ定义及常用组件概念 基础概念 常用组件 工作模式 2.1 简单模式 (Simple Mode) 2.2 工作队列模式 (Work Queues Mode) 2.1,2.2的代码实现: 2.3 发布/订阅模式 (Publish/Subscribe Mode) 2.3代码实现 2.4 路由模式 (Rou

Kafka 和 Flink的讲解

一、Kafka:分布式消息队列1. 核心概念 ​​角色​​:Kafka 是一个分布式、高吞吐量的​​消息队列​​(Pub-Sub 模型),用于实时传输数据流。 ​​关键术语​​: ​​Producer​​(生产者):发送数据的客户端(如传感器、应用日志)。 ​​Consumer​​(消费者):接收和处理数据的客户端(如 Flink、Spark)。 ​​Broker​​

MapReduce报错 HADOOP_HOME and hadoop.home.dir are unset.

运行课程讲解内容出现这个报错: 1、在电脑里解压之前发过的Hadoop安装包 2、配置用户变量 3、配置系统变量 4、配置系统Path变量 5、下载链接的两个文件:链接: ?pwd=56tv 提取码: 56tv –来自百度网盘超级会员v7的分享6、放到刚刚解压路

数据仓库是什么? 一文带你看清它的架构

一、数据仓库是什么诞生背景数据仓库最早的出现,其实是为了解决某些现实问题:企业运营时间一长,大量老旧数据堆积在业务系统里,既没人查,也不能删,占空间、拖性能。于是人们想:能不能把这些“冷数据”挪到另一个专门的仓库里?这就成了数据仓库的第一个用途:“历史数据的安置房”。另外&

数智读书笔记系列032《统一星型模型--一种敏捷灵活的数据仓库和分析设计方法》

引言在当今数字化时代,数据仓库作为企业数据管理的核心基础设施,承担着整合、存储和提供企业数据的关键角色。随着商业环境的快速变化和业务需求的日益复杂,数据仓库的设计方法也在不断演进,以适应新的挑战和要求。 背景与意义数据仓库领域长期存在着两种主流方法论之争:Bill Inmon提出的自上而下企业级数据仓库方法和Ralph Kimball倡导的自下而上维度建模方法。这两种方法各有优劣,但在应对现代企

VMware平台的Ubuntu部署完全分布式Hadoop环境

前言:此文章是本人初次部署Hadoop的过程记录以及所遇到的问题解决,这篇文章只有实际操作部分,没有理论部分。因本人水平有限,本文难免存在不足的地方,如果您有建议,欢迎留言或私信告知于我,非常感谢。 部分参考网络资料,如有侵权,联系删除。 文章目录 前言&#xf

三、zookeeper 常用shell命令

作者:IvanCodes 日期:2025年5月28日 专栏:Zookeeper教程 ZooKeeper Shell (zkCli.sh) 是与ZooKeeper服务器交互的核心工具。本教程将详细介绍常用命令,并重点解析ZooKeeper数据节点 (ZNode) 的特性与分类。 思维导图 一、连接 ZooKeeper 服务 使用

从 Flink 到 Doris 的实时数据写入实践 —— 基于 Flink CDC 构建更实时高效的数据集成链路

Flink-Doris-Connector 作为 Apache Flink 与 Doris 之间的桥梁,打通了实时数据同步、维表关联与高效写入的关键链路。本文将深入解析 Flink-Doris-Connector 三大典型场景中的设计与实现,并结合 Flink CDC 详细介绍了整库同步的解决方案,助力构建更加高效、稳定的实时数据处理体系。一、Apache

时序数据库选型指南:为什么 Apache IoTDB 正在成为工业大数据的首选?

👨‍🎓博主简介   🏅CSDN博客专家   🏅云计算领域优质创作者   🏅华为云开发者社区专家博主   🏅阿里云开发者社区专家博主 💊交流社区:运维交流社区 欢迎大家的加入! 🐋 希望大家多多支持,我们一起进步&#xff

头歌|HBase的安装与简单操作

若未出现预期结果可私信我答疑 我是头歌闯关王涉猎头歌7千多关,如有其他关卡也可私信我 第1关:Hbase数据库的安装mkdir /app cd /opt tar -zxvf hbase-2.1.1-bin.tar.gz -C /app vim /app/hbase-2.1.1/conf/hbase-env.sh !!!进入vim界面按i进入编辑模式,将第28行