大数据

蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造

张冯君(远远) Koupleless PMC 蚂蚁集团技术工程师 就职于蚂蚁集团中间件团队,参与维护与建设蚂蚁 SOFAArk 和 Koupleless 开源项目、内部 SOFAServerless 产品的研发和实践。 本文 3488 字,预计阅读 11 分钟  业务背景 基于开源 Apache

Kafka 的 KRaft 模式

这不仅是架构升级,更是一场 “去 ZooKeeper 化”的独立宣言!       “以前 Kafka 是个富二代,事事靠 ZooKeeper 这个管家;现在它自己当 CEO 了——账本、选举、心跳,全自己管!”虽然事情多一点,像赵匡胤一样来一出杯酒释兵权,什么都是自己 稳妥。现象&#x

【数据库】时序数据库选型指南:在大数据与工业4.0时代,为何 Apache IoTDB 成为智慧之选?

文章目录 一、引言 二、时序数据库选型的关键因素 1. 数据压缩能力 2. 分布式架构 3. 工业场景适配性 4. 性能表现 三、与国外时序数据库产品的对比 1. 功能特点对比 2. 本地化服务对比 3. 成本对比 四、IoTDB:国产时序数据库的佼佼者 1. 高压缩底层文件格式 2. 优秀的分布式架构 3. 深度适配工业场景 4. 强大的性

5个关键指标,教你如何评估大数据的数据质量

5个关键指标,教你像“检查奶茶配方”一样评估大数据质量 关键词:大数据质量、数据准确性、数据完整性、数据一致性、数据时效性、数据唯一性 摘要:你有没有过这样的经历——点了杯“三分糖少冰加珍珠”的奶茶,拿到手却发现是全糖满冰没加珍珠?这其实和“数据质量差”的问题一模一样:不符合预期的“数据”,会让最终

RabbitMq的status报错Error: unable to perform an operation on node ‘rabbit……

这个错误一般是由于RabbitMQ CLI 工具的 Erlang Cookie 与服务器不匹配而导致连接问题。什么意思呢?就是cookie不一致而Erlang Cookie 在 RabbitMQ 节点之间进行身份验证和安全通信时起着重要作用。在你们的C盘进行搜索有两个.erlang.cookie文件名,而里面的cookie修改为一致即可。位置一:C:\Us

详解RabbitMQ工作模式之发布确认模式

​​​​​​​目录发布确认模式概述消息丢失问题发布确认的三种模式实现步骤应用场景代码案例引入依赖常量类单条确认运行代码批量确认运行代码异步确认运行代码对比批量确认和异步确认模式发布确认模式概述 发布确认模式用于确保消息已经被正确地发送到RabbitMQ服务器,并被成功接收和持久化。通过使用发布确认,生产者可以获得对消息的可靠性保证,避免消息丢失。这一机

RabbitMQ第三章(企业级MQ应用方案)

文章目录 一、发送者的可靠性 1.1、生产者重试机制 1.2、生产者确认机制 1.3、实现生产者确认 1.3.1、开启生产者确认 1.3.2、定义ReturnCallback 1.3.3、定义ConfirmCallback 二、MQ的可靠性 2.1.数据持久化 2.1.1.交换机持久化 2.1.2.队列持久化 2.1.3.消息持久化 2.2.La

大数据OLAP与图数据库的联合分析

大数据OLAP与图数据库的联合分析:用“统计力+关联力”破解复杂问题 一、引言:为什么单一工具解决不了你的分析痛点? 1.1 一个真实的反欺诈故事:OLAP和图数据库的“各自为战”去年,我在某银行的风控团队做技术支持时,遇到过一个典型问题: 风控系统用**OLAP引擎(ClickHouse)**统计到,最近3天内有1200笔交易来自同一IP地址,且交易金额集中在“1000元整数倍”——这明显

【大数据】MapReduce的“内存增强版”——Spark

【大数据】MapReduce的“内存增强版”——Spark 文章脉络 Spark架构 Spark-core SparkConf 和 SparkContext RDD Spark集群 Spark-sql 在大数据时代,数据处理和分析成为企业竞争的重要手段。Hadoop作为大数据处理的基石,其核心组件MapReduce在