大数据
  1. 首页
  2. IT互联网
  3. 大数据

列表

黑马头条日记 | Kafka Stream流式计算 —— 助你实时计算热点文章

黑马头条日记 | Kafka Stream流式计算 —— 助你实时计算热点文章

一、引文 我们上一篇定时计算热点文章使用的是XXL-JOB，这个方案有几个明显的不足。第一个不足就是每一次计算评分都是把最近5天全部文章拉出来一起评分，这种全量扫描在很多情况下是没必要的，比如说那些评分数据不变的就没必要拉出来再算复用之前的评分即可。第二个不足就是用户只有在隔天才能感受到热点文章的变化，无法实时感知，时效性差。因
大数据 2026年06月06日
Kafka 的 KRaft 模式

Kafka 的 KRaft 模式

这不仅是架构升级，更是一场 “去 ZooKeeper 化”的独立宣言！       “以前 Kafka 是个富二代，事事靠 ZooKeeper 这个管家；现在它自己当 CEO 了——账本、选举、心跳，全自己管！”虽然事情多一点，像赵匡胤一样来一出杯酒释兵权，什么都是自己 稳妥。现象&#x
大数据 2026年06月06日
Dify 接入蓝耘 MaaS：从 0 搭建一个企业知识库问答助手

Dify 接入蓝耘 MaaS：从 0 搭建一个企业知识库问答助手

最近很多团队都在尝试把大模型接入到自己的业务里，但真正落地时会发现一个问题：直接和大模型聊天并不等于拥有一个可用的业务助手。比如我们想让 AI 回答公司产品文档、接口说明、运维手册、售后 FAQ 里的问题，如果只是直接问通用大模型，它很可能并不知道这些内部资料。即使模型能回答，也可能出现信息过期、回答不稳定、甚至凭空补充内容的情
大数据 2026年06月23日
原来音乐也能做成海报，MusicCard 让我重新爱上了分享歌曲

原来音乐也能做成海报，MusicCard 让我重新爱上了分享歌曲

你有没有发现，现在分享一首歌越来越没意思了。看到喜欢的旋律，点开分享按钮，要么是一张普通截图，要么是一段链接。别人点不点开不知道，至少那一刻听歌时的情绪，几乎没有被保留下来。有时候深夜循环一首老歌，有时候通勤路上突然被某句歌词击中。音乐带来的从来不只是旋律，而是某个瞬间的心情。可惜大多数
大数据 2026年06月23日
Kafka 消费幂等：重复消息不可怕，重复副作用才可怕

Kafka 消费幂等：重复消息不可怕，重复副作用才可怕

Kafka 消费幂等：重复消息不可怕，重复副作用才可怕一、Kafka 里重复消费是必须接受的现实Kafka 消费端常见目标是“不要重复消费”。但在真实系统里，重平衡、超时、提交 offset 失败、消费者重启都可能导致消息被再次处理。工程上更现实的目标不是完全消灭重复，而是让重复消息不会产生重复副作用。比如订单状态更新、积分发放、短信通知、库
大数据 2026年07月21日
消息队列选型决策框架：Kafka、NATS、RabbitMQ 的延迟、吞吐与运维成本全对比

消息队列选型决策框架：Kafka、NATS、RabbitMQ 的延迟、吞吐与运维成本全对比

消息队列选型决策框架：Kafka、NATS、RabbitMQ 的延迟、吞吐与运维成本全对比一、"流处理"和"消息投递"不应混为一谈——消息队列的两大阵营消息队列选型中最常见的错误，是将"高吞吐日志流"和"低延迟业务消息"混为一谈。这两种场景对消息系统的延迟保证、持久性语义和消费模型有着截然不同的要求。选 K
大数据 2026年07月24日
Kafka 消息重试设计：别让失败消息原地打转

Kafka 消息重试设计：别让失败消息原地打转

Kafka 消息重试设计：别让失败消息原地打转一、重试不是直接再消费一次Kafka 常用于微服务解耦。消费失败时，很多代码会直接抛异常，让消息再次被消费。这样简单，但如果下游一直不可用或消息本身有问题，就会原地打转，阻塞后续消息，甚至形成重试风暴。消息重试要区分临时失败和永久失败。二、先拆失败类型fl
大数据 2026年07月26日
超越放射科医生：详解 REDMOD 框架在胰腺癌“亚视觉”阶段的早期检测实现

超越放射科医生：详解 REDMOD 框架在胰腺癌“亚视觉”阶段的早期检测实现

REDMOD（Radiomics-based Early Detection MODel）框架是胰腺癌早期筛查领域的一项突破性进展。它通过捕捉那些“肉眼不可见”的微细病理信号，显著提升了临床诊断的时间窗。以下是对该框架的深度解读： 1. 什么是“亚视觉（Subvisual）”影像特征？所谓的“亚视觉”
大数据 2026年07月26日
消息队列选型实战：RabbitMQ、Kafka 与 Redis Streams 的工程权衡

消息队列选型实战：RabbitMQ、Kafka 与 Redis Streams 的工程权衡

消息队列选型实战：RabbitMQ、Kafka 与 Redis Streams 的工程权衡一、消息队列的选择不是「哪个性能最高」，而是「哪个最适合你的消息模式、交付语义和运维能力」消息队列（Message Queue）是现代分布式系统里最常用的解耦组件。生产者把消息发给队列，消费者从队列里取消息处理，生产者和消费者
大数据 2026年07月28日