物联网平台的消息处理架构:从Kafka到Flink的实时流计算工程复盘
物联网平台的消息处理架构:从Kafka到Flink的实时流计算工程复盘
物联网消息处理的本质是"分级"——不是所有消息都需要毫秒级处理,但最贵的那几条,晚一秒都不行。
一、消息的分级处理模型2023年我们重构了一个日处理80亿条设备消息的物联网平台。消息类型非常多样:
消息类型
延迟要求
丢失容忍
日均量
优先级
设备
