大数据

1. 首页
2. IT互联网
3. 大数据

Spark大数据分析与实战笔记（第四章 Spark SQL结构化数据文件处理-05）

文章目录 每日一句正能量 第4章 Spark SQL结构化数据文件处理 章节概要 4.5 Spark SQL操作数据源 4.5.1 Spark SQL操作MySQL 4.5.2 操作Hive数据集 每日一句正能量 努力学习，勤奋工作，让青春更加光彩。 第4章 Spark SQL结构化数据文件处理 章节概要 在很多情

大数据 2025年04月27日 69 点赞 0 评论 12810 浏览

Spark的shuffle史上最详细解析 ， 应用场景等多维度

以下内容将对 Spark 中 Shuffle 的原理、流程、配置项、实际应用场景、常见问题及解决方案等进行全面、详细、细致的分析和阐述，并在必要处辅以示例和配置展示。最后会进行总结，同时给出项目中可能出现的场景、问题、优化方式，力求内容完善、翔实且具有可操作性。 一、Shuffle 的背景与概念 什么是 Shuffle？ 在分布式计算框架&

大数据 2025年04月27日 138 点赞 0 评论 17463 浏览

互联网数字化商品管理浪潮思考：从信息化到精准运营

目录一、商品数字化转型面临的现状分析（一）运营方向分析（二）商品归类分析二、商品数字化管理建设分析三、基础建设——商品信息数字化（一）商品信息质量数字化的目的（二）多维度的商品质量评分基本属性评分市场表现评分供应链评分售后服务评分合规性评分（三）数据采集与分析（四）可视化与决策支持四、应用建设——供给、供需、交易场景数字化（一）供给阶段：提高商品供给质量与商家选品效率数据驱动的选品决策智能采购管理

大数据 2025年04月27日 164 点赞 0 评论 12064 浏览

Flink 如何部署在没有Hadoop的机器上

引言本文主要介绍Flink on Yarn 模式下 ,Flink 需要不需要与Hadoop 部署在相同机器上？如果不需要，那推荐是部署在相同机器上还是部署在不同机器上？ 结论写在前面在 Flink on YARN 模式下，Flink 不需要与 Hadoop 部署在同一台机器上，它其实只需要能够访问 Hadoop 集群的环境&#

大数据 2025年04月27日 92 点赞 0 评论 5971 浏览

三、Hadoop 常用命令集总览

Hadoop 常用命令集总览在大数据处理领域，Hadoop 作为一种广泛应用的分布式系统基础架构，其重要性不言而喻。熟练掌握 Hadoop 的常用命令对于高效的数据处理和分析工作至关重要。本文将对 Hadoop 的常用命令进行专业而详尽的列举，并结合实例进行深入讲解。 一、HDFS 命令 1. 文件和目录操作 hadoop fs -ls：

大数据 2025年04月26日 35 点赞 0 评论 12039 浏览

数据仓库分层解析(详细)

目录一、数据仓库为什么要分层二、数据仓库怎么分层1、ODS（Operational Data Store）：数据源层2、DW（Data Warehouse）： 数据仓库层2.1、DWD（Data Warehouse Detail）：数据明细层2.2、DWM（D

大数据 2025年04月26日 172 点赞 0 评论 2251 浏览

大数据面试必备：在Kafka中如何创建和管理Topic

Kafka面试题 - 在Kafka中，如何创建一个Topic?可以通过哪些方式管理Topic?回答重点在Kafka中，创建一个Topic有几种方式，最常见的有以下两种：1 通过Kafka自带的命令行工具创建： Kafka提供了一个名为kafka-topics.sh的命令行工具，可以使用它让 Kafka管理集群中的

大数据 2025年04月26日 127 点赞 0 评论 3500 浏览

【Hadoop】大数据权限管理工具Ranger2.1.0编译

目录​编辑一、下载 ranger源码并编译二、报错信息报错1报错2报错3报错4一、下载 ranger源码并编译ranger官网#xff0c;故需要maven编译。安装其它依赖： yum install gcc git python3 bzip2 fontconfig-de

大数据 2025年04月26日 57 点赞 0 评论 3599 浏览

深入学习RabbitMQ的Direct Exchange（直连交换机）

        RabbitMQ作为一种高性能的消息中间件，在分布式系统中扮演着重要角色。它提供了多种消息传递模式，其中Direct Exchange（直连交换机）是最基础且常用的一种。本文将深入介绍Direct Exchange的原理、应用场景、配置方法以及实践案例，帮助读者更好地理解和使用这一消息传递模式。 一、Direct

大数据 2025年04月26日 172 点赞 0 评论 7662 浏览

【大数据】LSM树，专为海量数据读写而生的数据结构

目录1.什么是LSM树？2.LSM树的落地实现1.什么是LSM树？LSM树（Log-Structured Merge Tree）是一种专门针对大量写操作做了优化的数据存储结构，尤其适用于现代大规模数据处理系统，如NoSQL数据库（如Cassandra、HBase、RocksDB等）和键值

大数据 2025年04月26日 72 点赞 0 评论 17193 浏览