大数据

蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造

张冯君(远远) Koupleless PMC 蚂蚁集团技术工程师 就职于蚂蚁集团中间件团队,参与维护与建设蚂蚁 SOFAArk 和 Koupleless 开源项目、内部 SOFAServerless 产品的研发和实践。 本文 3488 字,预计阅读 11 分钟  业务背景 基于开源 Apache

计算机毕业设计hadoop+spark+hive地震预测系统 地震数据可视化分析 大数据毕业设计(源码+LW文档+PPT+讲解)

温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 温馨提示:文末有 CSDN 平台官方提供的学长联系方式的名片! 技术范围:SpringBoot、Vue、爬虫、数据可视化、小程序、安卓APP、大数

Hadoop3.1.3分布式集群搭建,从零开始,保姆级教程

目录一、安装VMware二、搭建CentOS7系统2.1配置CentOS7基本项2.2安装CentOS7系统2.3网络配置三、Xshell连接虚拟机四、Hadoop分布式集群搭建4.1将必要文件导入至虚拟机中4.2 JDK1.8安装1.卸载系统自带的JDK2.添加java环境变量4.3克隆虚拟机1.克隆2.修改网络配置文件 3.修改主机名4.在Xshell中添加虚拟机5.禁用防火墙4.4 SSH配

5个关键指标,教你如何评估大数据的数据质量

5个关键指标,教你像“检查奶茶配方”一样评估大数据质量 关键词:大数据质量、数据准确性、数据完整性、数据一致性、数据时效性、数据唯一性 摘要:你有没有过这样的经历——点了杯“三分糖少冰加珍珠”的奶茶,拿到手却发现是全糖满冰没加珍珠?这其实和“数据质量差”的问题一模一样:不符合预期的“数据”,会让最终

RabbitMq的status报错Error: unable to perform an operation on node ‘rabbit……

这个错误一般是由于RabbitMQ CLI 工具的 Erlang Cookie 与服务器不匹配而导致连接问题。什么意思呢?就是cookie不一致而Erlang Cookie 在 RabbitMQ 节点之间进行身份验证和安全通信时起着重要作用。在你们的C盘进行搜索有两个.erlang.cookie文件名,而里面的cookie修改为一致即可。位置一:C:\Us

Kafka 的 KRaft 模式

这不仅是架构升级,更是一场 “去 ZooKeeper 化”的独立宣言!       “以前 Kafka 是个富二代,事事靠 ZooKeeper 这个管家;现在它自己当 CEO 了——账本、选举、心跳,全自己管!”虽然事情多一点,像赵匡胤一样来一出杯酒释兵权,什么都是自己 稳妥。现象&#x

RabbitMQ第三章(企业级MQ应用方案)

文章目录 一、发送者的可靠性 1.1、生产者重试机制 1.2、生产者确认机制 1.3、实现生产者确认 1.3.1、开启生产者确认 1.3.2、定义ReturnCallback 1.3.3、定义ConfirmCallback 二、MQ的可靠性 2.1.数据持久化 2.1.1.交换机持久化 2.1.2.队列持久化 2.1.3.消息持久化 2.2.La

大数据OLAP与图数据库的联合分析

大数据OLAP与图数据库的联合分析:用“统计力+关联力”破解复杂问题 一、引言:为什么单一工具解决不了你的分析痛点? 1.1 一个真实的反欺诈故事:OLAP和图数据库的“各自为战”去年,我在某银行的风控团队做技术支持时,遇到过一个典型问题: 风控系统用**OLAP引擎(ClickHouse)**统计到,最近3天内有1200笔交易来自同一IP地址,且交易金额集中在“1000元整数倍”——这明显

详解RabbitMQ工作模式之发布确认模式

​​​​​​​目录发布确认模式概述消息丢失问题发布确认的三种模式实现步骤应用场景代码案例引入依赖常量类单条确认运行代码批量确认运行代码异步确认运行代码对比批量确认和异步确认模式发布确认模式概述 发布确认模式用于确保消息已经被正确地发送到RabbitMQ服务器,并被成功接收和持久化。通过使用发布确认,生产者可以获得对消息的可靠性保证,避免消息丢失。这一机