大数据

1. 首页
2. IT互联网
3. 大数据

Java 大视界 -- 基于 Java 的大数据实时流处理在智能电网分布式能源接入与电网稳定性保障中的应用（368）

Java 大视界 -- 基于 Java 的大数据实时流处理在智能电网分布式能源接入与电网稳定性保障中的应用（368） 引言： 正文： 一、Java 实时流处理：电网数据的 “神经中枢” 1.1 多源数据实时采集与分层处理 1.2 多能源协同特征计算 二、Java 驱动的分布

大数据 2025年08月16日 118 点赞 0 评论 12837 浏览

Lakehouse架构的演进与企业级实现：Flink + Paimon + StarRocks的协同之道

在当今数据驱动的时代，企业对数据管理和分析的需求日益增长。传统的数据仓库和数据湖架构在面对大规模、多样化数据时，逐渐暴露出各自的局限性。Lakehouse架构应运而生，旨在融合数据湖和数据仓库的优势，提供一种统一、高效的数据管理与分析平台。本文将深入探讨Lakehouse架构的演进历程与核心目标，并以Apache Flink、A

大数据 2025年08月16日 44 点赞 0 评论 11464 浏览

ZooKeeper 单机模式至多集群模式安装配置实战指南 + 核心架构解析

肖哥弹架构 跟大家“弹弹” Zookeeper 设计与实战应用，需要代码关注 欢迎 关注，点赞，留言。 关注公号Solomon肖哥弹架构获取更多精彩内容 历史热点文章 MyCat应用实战：分布式数据库中间件的实践与优化（篇幅一） 图解深度剖析：MyCat 架构设计与组件协同 &#xf

大数据 2025年08月16日 50 点赞 0 评论 18042 浏览

一文说清楚Hive中常用的聚合函数[collect_list]

collect_list(col)是Hive中常用的聚合函数，用于将分组内的某列值（col）收集到一个数组中。它的核心作用是将多行数据合并为单行的数组结构，常用于数据重组或复杂分析场景。以下是详细说明和示例： 一、函数特点 分组聚合：需配合GROUP BY使用，将每个分组内的col值收集为数组。

大数据 2025年08月16日 176 点赞 0 评论 6204 浏览

Flink 2.1 SQL：解锁实时数据与AI集成，实现可扩展流处理

摘要：本文整理自阿里云的高级技术专家、Apache Flink PMC 成员李麟老师在 Flink Forward Asia 2025 新加坡[1]站 —— 实时 AI 专场中的分享。将带来关于 Flink 2.1 版本中 SQL 在实时数据处理和 AI 方面进展的话题。 Tips：点击「阅读原文」跳转阿里云实时计算 Flink～ Flink

大数据 2025年08月16日 56 点赞 0 评论 10166 浏览

【Java-ZooKeeper】ZooKeeper 是如何实现分布式事务的？

ZooKeeper 如何实现分布式事务？ 1. 核心机制：ZAB 协议（ZooKeeper Atomic Broadcast） ZooKeeper 通过 ZAB 协议保证分布式事务的原子性和一致性。ZAB 协议类似于两阶段提交（2PC），但更高效： Leader 选举：

大数据 2025年08月16日 113 点赞 0 评论 17029 浏览

深入探索【Hadoop】生态系统：Hive、Pig、HBase及更多关键组件（上）

🐇明明跟你说过：个人主页🏅个人专栏：《大数据前沿：技术与应用并进》🏅🔖行路有良友，便是天堂🔖目录一、引言1、Hadoop简介2、Hadoop生态系统的构成概览 3、Hadoop在大数据处理中的应用价值二、Hive：SQL on Hadoop1、Hiv

大数据 2025年08月16日 150 点赞 0 评论 3417 浏览

Kafka 2.7.0 单节点安装与启动教程（适配 JDK 1.8）

1. 下载与解压官方下载 Kafka 2.7.0 上传到虚拟机（如 /home/wang/soft/kafka） 解压：    tar -zxvf kafka_2.13-2.7.0.tgz  2. 配置环境变量&#xff0

大数据 2025年08月16日 92 点赞 0 评论 17706 浏览

一、Spark专栏开篇：它从何而来，为何而生，凭何而强？

作者：IvanCodes 日期：2025年7月18日 专栏：Spark教程 在大数据的世界里，如果说 Hadoop 是一位力大无穷但步履稳健的巨人，那么 Apache Spark 就是一位身手敏捷、快如闪电的超级英雄。凭借其惊人的速度、一专多能的本领和简单易用的操作，Spark 迅速成为了处理海量数据的明星

大数据 2025年08月16日 45 点赞 0 评论 18547 浏览

Hive 常见配置类报错与解决方案速查手册

Hive 常见配置类报错与解决方案速查手册 前言在使用 Hive 处理数据时，我们常常会因为数据规模、SQL 复杂度或集群环境的差异，遇到各种各样的报错。其中，很大一部分问题并非 SQL 逻辑错误，而是与 Hive 的执行配置息息相关。这些配置决定了 Hive 如何分配资源、如何优化 SQL、以及如何执行任务。本文档根据常见的配置类报错信息

大数据 2025年08月16日 153 点赞 0 评论 2993 浏览