大数据
  1. 首页
  2. IT互联网
  3. 大数据

列表

六种主流ETL工具的比较与Kettle的实践练习指南--MySQL、hive、hdfs等之间的数据迁移

六种主流ETL工具的比较与Kettle的实践练习指南--MySQL、hive、hdfs等之间的数据迁移

        在数据集成和数据仓库建设中，ETL（Extract, Transform, Load）工具扮演着至关重要的角色。本文将对六种主流ETL工具进行比较，并深入探讨Kettle的实践应用。一、六种主流ETL工具比较1. DataPipeline 设计及架构：专为超大数据量、高度复杂的数据链路设计的灵活、可扩展的数据交
大数据 2025年04月27日
flink写doris时的优化

flink写doris时的优化

1.概念doris并不擅长高频、小量数据的导入；因为doris每一次数据导入都会在be节点上生成数据文件；如果高频导入小量数据，就会在存储层产生大量的小文件（必然会影响到后续的查询效率，也会对系统产生更多的compaction操作压力）而flink是实时不断地往doris中插入数据，所以很容易出现上述
大数据 2025年06月01日
Java 大视界 -- Java 大数据在智能金融反洗钱监测与交易异常分析中的应用（224）

Java 大视界 -- Java 大数据在智能金融反洗钱监测与交易异常分析中的应用（224）

       💖亲爱的朋友们，热烈欢迎来到 青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程&#xff
大数据 2025年05月20日
SpringKafka错误处理：重试机制与死信队列

SpringKafka错误处理：重试机制与死信队列

文章目录 引言 一、Spring Kafka错误处理基础 二、配置重试机制 三、死信队列实现 四、特定异常的处理策略 五、整合事务与错误处理 总结 引言在构建基于Kafka的消息系统时，错误处理是确保系统可靠性和稳定性的关键因素。即使设计再完善的系统，在运行过程中也不可避免地会遇到各种异常情况，如网络波动、服务不可用、数据格式错误
大数据 2025年05月21日
【大数据技术-HBase-关于Hmaster、RegionServer、Region等组件功能和读写流程总结】

【大数据技术-HBase-关于Hmaster、RegionServer、Region等组件功能和读写流程总结】

Hmaster的作用负责命名空间、表的创建和删除等一些DDL操作、region分配和负载均衡，并不参与数据读写，相比与其他大数据组件，如hdfs的namenode，在hbase中，Hmaster的作用是比较弱化的，即使挂掉，也暂时不影响现有表的读写。 RegionServer的作用一个机器上一个regionserver进程，主要负责管理多个region，接受客户端读写请求并交给region进行处
大数据 2025年05月20日
Flink 如何部署在没有Hadoop的机器上

Flink 如何部署在没有Hadoop的机器上

引言本文主要介绍Flink on Yarn 模式下 ,Flink 需要不需要与Hadoop 部署在相同机器上？如果不需要，那推荐是部署在相同机器上还是部署在不同机器上？ 结论写在前面在 Flink on YARN 模式下，Flink 不需要与 Hadoop 部署在同一台机器上，它其实只需要能够访问 Hadoop 集群的环境&#
大数据 2025年04月27日
Java 大视界 -- Java 大数据在智慧港口集装箱调度与物流效率提升中的应用创新（159）

Java 大视界 -- Java 大数据在智慧港口集装箱调度与物流效率提升中的应用创新（159）

       💖亲爱的朋友们，热烈欢迎来到 青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也期待你毫无保留地分享独特见解，愿我们于此携手成长，共赴新程！💖一、欢迎加入【福利社群】点击快速加入1： 青云交技术圈福利社群（
大数据 2025年04月26日