【大数据基础】大数据处理架构Hadoop：03 Hadoop的安装与使用
【作者主页】Francek Chen 【专栏介绍】
⌈
⌈
⌈大数据技术原理与应用
⌋
大数据
浅谈大数据领域 HDFS 的数据分片策略
浅谈大数据领域 HDFS 的数据分片策略
关键词：HDFS、数据分片、大数据存储、分布式文件系统、数据块、副本策略、负载均衡
摘要：本文深入探讨了Hadoop分布式文件系统(HDFS)中的数据分片策略，这是大数据处理的基础核心概念。我们将从HDFS架构设计出发，详细分析其数据分片原理、分片大小选择策略、副本放置算法以及实际应用中的优化技巧。文章包含完整的理论分析、数学模型、Pytho
VMWare上搭建大数据集群
文章目录
0. 更新情况说明
1. 采用软件较新版本
2. 准备三台虚拟机
3. 搭建Hadoop集群
3.1 在主节点上配置Hadoop
3.1.1 编辑映射文件
3.1.2 配置免密登录
3.1.3 配置JDK
3.1.4 配置Hadoop
3.2 从主节点分发到从节点
3.2.1 从master节点分发到slave1节点
3.2.2 从master节点分发到sl
Flink学习笔记：整体架构
开一个新坑，系统性的学习下 Flink，计划从整体架构到核心概念再到调优方法，最后是相关源码的阅读。今天就来学习 Flink 整体架构，我们先看官网的架构图图中包含三部分，分别是 Client、JobManager 和 TaskManager。其中 Client 并不属于 Flink 集群，它主要用来把用户编写的程
Java 大视界 -- 基于 Java+Kafka 构建高可用消息队列集群：实战部署与性能调优（442）
Java 大视界 -- 基于 Java+Kafka 构建高可用消息队列集群：实战部署与性能调优（442）
引言：
正文：
一、 Kafka 高可用集群核心认知：先懂原理，再谈部署
1.1 Kafka 高可用核心原理
1.1.1
Java 大视界 -- Java 大数据在智能教育虚拟学习环境构建与用户体验优化中的应用（221）
💖亲爱的朋友们，热烈欢迎来到 青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程ÿ
大数据领域：数据清洗助力数据质量提升
大数据领域：数据清洗助力数据质量提升
关键词：数据清洗、数据质量、缺失值处理、异常值检测、重复数据、噪声数据、数据标准化
摘要：在大数据时代，“数据是新石油"的说法已深入人心，但未经处理的原始数据更像"未提炼的原油”——混杂着杂质，无法直接使用。本文将以"数据清洗"为核心
消息队列1-RabbitMQ与原生客户端介绍
文章目录
一. MQ的应用场景
1. 异步解耦
2. 流量削峰
3. 消息订阅分发
4. 延迟通知
二. RabbitMQ的结构分析与工作流程
1. AMQP协议
2. 客户端与服务器
3. Connection
4. Channel
5. Virtual host
6. Exchange
7. Queue
8. 工作流程
(1) 创建连接
(2) 声明交换机和队列
(3) 发送消
Flutter 三方库 stash_hive 的鸿蒙化适配指南 - 在鸿蒙系统上构建极致、全能、全功能的非关系型数据库缓存与跨平台持久化存储引擎
欢迎加入开源鸿蒙跨平台社区：#Flutter 三方库 stash_hive 的鸿蒙化适配指南 - 在鸿蒙系统上构建极致、全能、全功能的非关系型数据库缓存与跨平台持久化存储引擎在鸿蒙（OpenHarmony）系统的端侧高性能存储、动态离线缓存、或者是针对海量 KV 数据的高速存取中，如何结合 Hive 这类卓越的非关系型数据库实现一套统一的、具
Windows 下 Kafka 安装教程（保姆级）
一、准备工作✅ 1. 安装 Java JDK（Kafka 依赖 Java 运行环境）Kafka 是基于 Java 的，必须先安装 JDK。一般学到kafka的同学肯定已经安装好了JDK了，这一步我就不写了，具体可以参考其他文章。⚠️ 注意：Kafka 3.9.0 要求本地必须安装 JDK 17 或以上版本。JDK
