大数据

互联网数字化商品管理浪潮思考:从信息化到精准运营

目录一、商品数字化转型面临的现状分析(一)运营方向分析(二)商品归类分析二、商品数字化管理建设分析三、基础建设——商品信息数字化(一)商品信息质量数字化的目的(二)多维度的商品质量评分基本属性评分市场表现评分供应链评分售后服务评分合规性评分(三)数据采集与分析(四)可视化与决策支持四、应用建设——供给、供需、交易场景数字化(一)供给阶段:提高商品供给质量与商家选品效率数据驱动的选品决策智能采购管理

Flink消费Kafka实时写入Doris

本文模拟实际生产环境,通过FileBeat采集日志信息到Kafka,再通过Flink消费Kafka实时写入Doris。 文章目录 Filebeat采集日志到Kafka Flink消费Kafka实时写入Doris 方式一(String数据流) 方式二(RowData数据流) 总结

三、Hadoop 常用命令集总览

Hadoop 常用命令集总览在大数据处理领域,Hadoop 作为一种广泛应用的分布式系统基础架构,其重要性不言而喻。熟练掌握 Hadoop 的常用命令对于高效的数据处理和分析工作至关重要。本文将对 Hadoop 的常用命令进行专业而详尽的列举,并结合实例进行深入讲解。 一、HDFS 命令 1. 文件和目录操作 hadoop fs -ls:

Kafka

1. Kafka启动方式我下载的是kafka_2.13-3.9.1版本,官网下载 1.1. 自带的zookeeper(也可独立安装)# 先确认在 kafka 目录下 cd /path/to/kafka_2.13-3.9.1 # 后台启动zookeeper nohup bin/zookeeper-server-start.sh config/zookeep

大数据应用开发生态搭建(Hadoop3.x)

大数据生态搭建(Hadoop3.x) 文章目录 大数据生态搭建(Hadoop3.x) 1、简介 2、准备虚拟机 **2.1、安装Centos7** 2.2、**关闭防火墙、配置虚拟机网络环境、安装JDK、修改主机名、克隆虚拟机和配置主机IP映射** 1、关闭防火墙 2、设置固定IP 3、修改主机名 4、安装JDK 5、克

SelectDB数据库,新一代实时数据仓库的全面解析与应用

摘要:SelectDB是一款基于Apache Doris的新一代实时数据仓库解决方案,具备实时极速、融合统一、弹性架构和开放生态四大核心特性。它采用云原生存算分离架构,支持秒级数据更新、毫秒级查询响应,在TPC-H等基准测试中性能超越传统系统3-5倍。SelectDB提供两款产品:SelectDB Cloud&#xff08

Hadoop 与 Spark:大数据框架的对比与融合

前言 在大数据领域,Hadoop 和 Spark 作为两个极具影响力的框架,各自展现出独特的优势,以不同的方式应对大规模数据处理的挑战。下面将对这两个框架进行更为细致和清晰的阐述,以帮助读者更好地理解它们的特点、差异和适用场景。 一、Hadoop 和 Spark 的基本概念与起源 什么是Hadoop? Hadoop

大数据与制造业:预测性维护系统构建

大数据与制造业:预测性维护系统构建 关键词:大数据分析、预测性维护、工业物联网、机器学习、设备故障预测、制造业数字化转型、实时监控 摘要:本文深入探讨了如何利用大数据技术构建制造业预测性维护系统。文章从核心技术原理出发,详细介绍了数据采集、特征工程、机器学习模型构建等关键环节,并通过实际案例展示了预测性维护系统的实现过程。同时,文章还分析了预测性维护在制造业中的典型应用场景,提供了工

【分布式利器:Kafka】Kafka基本原理详解:架构、流转机制与高吞吐核心(附实战配置)

在大数据和实时流处理领域,Kafka是当之无愧的“流量枢纽”。从日志收集(如ELK栈)到实时数据分析(如Flink+Kafka),再到数据管道(跨系统数据同步),Kafka以“百万级TPS、TB级存储、毫秒级延迟”的特性,成为分布式系统中连接数据生产者