大数据
  1. 首页
  2. IT互联网
  3. 大数据

列表

Hadoop3.3.5伪分布式集群搭建（Ubuntu系统）

Hadoop3.3.5伪分布式集群搭建（Ubuntu系统）

环境准备 系统要求：Ubuntu 20.04/22.04 LTS 软件版本： Hadoop 3.3.5 JDK 8 硬件要求：至少4GB内存，20GB磁盘空间 详细步骤1.安装Vim编辑器后续需要更改一些配置文件，我比较喜欢用的是 vim（vi增强版，基本用法相同&#xf
大数据 2025年07月28日
Hadoop核心技术学习心得

Hadoop核心技术学习心得

在系统深入钻研Hadoop核心技术的过程中，我不仅扎实掌握了分布式存储与并行计算的底层架构原理，厘清了各组件的协同工作链路，更实现了从传统单机编程到分布式编程的根本性思路跃迁，对大数据处理的核心逻辑、技术范式与实践技巧构建起了体系化的认知框架。从HDFS分布式文件系统的高可靠存储机制，到MapReduce并行计算模型的任务拆分与
大数据 2026年05月28日
Java 大视界 -- Java 大数据在智慧交通停车场智能管理与车位预测中的应用实践

Java 大视界 -- Java 大数据在智慧交通停车场智能管理与车位预测中的应用实践

Java 大视界 -- Java 大数据在智慧交通停车场智能管理与车位预测中的应用实践 引言： 正文： 一、智慧交通停车场现状与挑战 1.1 停车场管理现状 1.2 车位预测挑战 二、Java 大数据在停车场智能管理中的应用 2.1 数据采集与整合 2.2 智能收费系统 2.3 车位引导系统 三、Ja
大数据 2025年11月17日
【大数据】Hadoop 2.X和1.X升级优化对比

【大数据】Hadoop 2.X和1.X升级优化对比

目录1.前言2.hadoop 1.X的缺点和优化方向3.解决NameNode的局限性3.1.Hadoop HA3.2.Haddop federation4.yarn5.周边组件1.前言本文是作者大数据系列中的一文，专栏地址：#前文中我们从大数据的概论入手、分别聊了分布式文件系统的鼻祖GFS、分布式数据库的鼻祖Big Table、hadoop中的分布式文件系统HDFS、计
大数据 2025年11月26日
掌握大数据领域数据架构，开启数据新征程

掌握大数据领域数据架构，开启数据新征程

掌握大数据领域数据架构，开启数据新征程 关键词：大数据架构、数据湖、数据仓库、数据治理、湖仓一体、元数据管理、实时处理 摘要：在数据爆炸的时代，数据架构是企业挖掘数据价值的“地基”。本文将用超市管理货物的故事类比，从数据架构的核心概念讲起，逐步拆解数据湖、数据仓库、数据治理等关键组件的关系，结合电商实战案例和代码示例，帮你掌握设计高效数据架构的方法，开启数据价值挖掘的新征程。 背
大数据 2026年05月21日
RabbitMQ与Celery深度集成：构建高性能Python异步任务系统

RabbitMQ与Celery深度集成：构建高性能Python异步任务系统

目录摘要1 引言：为什么现代Python项目需要消息队列1.1 消息队列的核心价值1.2 RabbitMQ与Celery的协同优势2 RabbitMQ核心原理深度解析2.1 AMQP协议与消息模型2.1.1 Exchange类型与路由机制2.1.2 消息持久化与可靠性2.2 高级消息模式2.2.1 死信队列与延迟消息2.2.2 优先级队列3 Celery架构与核心机制3.1 Cele
大数据 2026年02月04日
基于 Kafka 的医嘱事件架构

基于 Kafka 的医嘱事件架构

一：为什么要用事件总线 解耦：把 HIS 的业务事实（医嘱、执行、记账）解耦为事件，病案、计费、质控、DRG 等系统通过消费同一条事实构建各自视图 可回放 / 恢复：事件可以持久化并重放，用于补录、补算或回放历史 高吞吐与扩展：Kafka 能天然横向扩展&#xff0c
大数据 2026年03月23日
探索大数据领域Spark的分布式计算性能提升方法

探索大数据领域Spark的分布式计算性能提升方法

Spark分布式计算性能调优全攻略：从原理到实践的12个关键方法副标题：解决Shuffle慢、资源浪费、任务倾斜的实战指南 摘要/引言你有没有遇到过这样的场景？ 写好的Spark任务跑到一半卡住，盯着日志看“Shuffle Read”进度半天不动； 明明给了10个Executor，却只有2个在干活，
大数据 2025年12月14日
NIFI【应用 02】1.28.1版本使用实例分享（GetFile、SplitText、ExtractText、PublishKafkaRecord_2_6）配置使用及模板分享（txt文件解析）

NIFI【应用 02】1.28.1版本使用实例分享（GetFile、SplitText、ExtractText、PublishKafkaRecord_2_6）配置使用及模板分享（txt文件解析）

Apache NIFI 安装过程可参考《一篇学会部署NIFI》中文文档地址 内容很是详细，大家可以参考。没有中文文档的可查看官方文档 NIFI 新手，一些配置或者处理器本身的使用可能存在一些问题，发现的小伙伴儿请不吝赐教。 txt文件解析实例
大数据 2025年11月23日