大数据

三、Spark 运行环境部署:全面掌握四种核心模式

作者:IvanCodes 日期:2025年7月25日 专栏:Spark教程 Apache Spark 作为统一的大数据分析引擎,以其高性能和灵活性著称。要充分利用Spark的强大能力,首先需要根据不同的应用场景和资源环境,正确地部署其运行环境。本教程将详细指导您如何下载 Spark,并逐步解析

Java 大视界 -- 基于 Java 的大数据实时流处理在工业物联网设备故障预测与智能运维中的应用(384)

Java 大视界 -- 基于 Java 的大数据实时流处理在工业物联网设备故障预测与智能运维中的应用(384) 引言: 正文: 一、工业设备运维的 “老大难”:不是 “修得慢” 那么简单 1.1 师傅与设备的 “信息差” 1.1.1 数据 “滞后” 导致的停机灾难 1.1.2 故障 “

Docker安装Kafka(不依赖ZooKeeper)

创建docker-compose.yamlversion: "3.9" #版本号 services: kafka: image: apache/kafka:3.9.0 container_name: kafka hostname: kafka ports: - 9092:9092 # 容器内部之间使用的监听端口 - 9

大数据新视界 -- Hive 事务与 ACID 特性的实现(2 - 16 - 7)

       💖💖💖亲爱的朋友们,热烈欢迎你们来到 青云交的博客!能与你们在此邂逅,我满心欢喜,深感无比荣幸。在这个瞬息万变的时代,我们每个人都在苦苦追寻一处能让心灵安然栖息的港湾。而 我的博客,正是这样一个温暖美好的所在。在这里,你们不仅能够收获既富有趣味又极为实用的内容知识,还可以毫无拘束地畅所欲言,尽情分享自己独特的见解。

Kafka KRaft + SSL + SASL/PLAIN 部署文档

本文档介绍如何在 Windows 环境下部署 Kafka 4.x,使用 KRaft 模式、SSL 加密和 SASL/PLAIN 认证。stevensu1/test-kafka1. 环境准备 JDK 17 或更高版本 Kafka 4.x 版本(本文档基于 kafka_2.13-4.0.0) 2. 目录结构D:\kafka_2.13-4.0.0\ ├── bi

Java 大视界 -- Java 大数据机器学习模型在金融信用评级模型优化与信用风险动态管理中的应用(371)

Java 大视界 -- Java 大数据机器学习模型在金融信用评级模型优化与信用风险动态管理中的应用(371) 引言: 正文: 一、Java 信用评级模型:分层适配全场景 1.1 银行版:全量特征融合(32+18 维) 1.2 跨境版&#

详解RabbitMQ单机多节点搭建集群

目录单机多节点搭建集群Ubuntu安装RabbitMQ查看RabbitMQ的状态再启动两个节点搭建集群Centos安装RabbitMQ查看集群状态再启动两个节点搭建集群单机多节点搭建集群Ubuntu安装RabbitMQ安装RabbitMQ的步骤在之前的博客中已经写过了。查看RabbitMQ的状态 rabbitmqctl status # 查看 RabbitMQ 状态 会

二、Spark 开发环境搭建 IDEA + Maven 及 WordCount 案例实战

作者:IvanCodes 日期:2025年7月20日 专栏:Spark教程 本教程将从零开始,一步步指导您如何在 IntelliJ IDEA 中搭建一个基于 Maven 和 Scala 的 Spark 开发环境,并最终完成经典的 WordCount 案例。 一、创建 Maven 项目并配置 Scala 环境 1.1 新

SpringBoot消息队列集成:RabbitMQ、Kafka使用源码级分析(17)

SpringBoot消息队列集成:RabbitMQ、Kafka使用源码级分析 一、消息队列基础概念 1.1 消息队列的定义与作用消息队列(Message Queue)是一种在不同组件或应用之间传递消息的中间件技术。它基于"生产者-消费者"模式,允许应用程序通过发送和接收消息来进行异步通信。消息队列的主要作用包括&#xff1a

The History of Big Data

数据洪流悄然重塑世界的进程中,大数据的历史是技术迭代与需求驱动的交响。从 2003 年分布式系统雏形初现,到 Hadoop 掀起开源浪潮,再到 Spark、容器化技术与深度学习的接力革新,以及 Hadoop 生态的兴衰起落,大数据发展史如同一部技术进化史诗。本文将循着 2003 至 2023 年的时间脉络,解码这场