大数据

Java 大视界 -- 基于 Java 的大数据实时流处理在金融高频交易数据分析中的应用(234)

       💖亲爱的朋友们,热烈欢迎来到 青云交的博客!能与诸位在此相逢,我倍感荣幸。在这飞速更迭的时代,我们都渴望一方心灵净土,而 我的博客 正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识,也期待你毫无保留地分享独特见解,愿我们于此携手成长,共赴新程&#xff

头歌-Spark SQL 多数据源操作(Scala)

第1关:加载与保存操作编程要求 打开右侧代码文件窗口,在 Begin 至 End 区域补充代码,完善程序。读取本地文件 file:///data/bigfiles/demo.json,根据年龄字段 age 设置降序,输出结果。demo.json 文件内容如下所示:{"name": "zhan

Hadoop•HDFS的Java API操作

听说这是目录哦 上传文件到HDFS🌈 一、下载Windows版本的JDK和Hadoop 二、配置物理机环境变量 三、创建项目 四 、添加依赖 五、新建java类 六、创建文件 七、打开集群 八、选中、运行 从HDFS下载文件🪐 一、写代码 二、HDFS要个文件 三、物理机要个文件夹(目录) 四、运行代码

一文搞懂Flink 的 Materialized Table:简化数据管道的利器

你好,我是 shengjk1,多年大厂经验,努力构建 通俗易懂的、好玩的编程语言教程。 欢迎关注!你会有如下收益: 了解大厂经验 拥有和大厂相匹配的技术等 希望看什么,评论或者私信告诉我! 文章目录 一、背景 二、Materialized Table 优势 (一&#xff

RabbitMQ如何保证消息不丢失?

在 RabbitMQ 中保证消息不丢失需要从 ​生产者端、Broker端 和 ​消费者端 三个环节进行可靠性设计,以下是具体方案及实现方法:​我们使用RabbitMQ来确保MySQL和Redis间数据双写的一致性,这要求我们实现消息的高可用性,具体措施包括: 开启生产者确认机制,确保消息能被送达队列&#xff0c

Kafka快速入门

目录1、 消息中间件概述1.1 消息队列简介1.2 消息队列应用场景1.2.1 系统解耦1.2.2 流量消锋1.2.3 异步通信1.3 MQ的优缺点1.4 Kafka简介1.5 MQ产品比对2、 Kafka环境搭建2.1 Kafka集群机制2.2 Kafka基础架构2.3 Kafka集群搭建2.4 Kafka集群测试3、Kafaka的 Java API入门案例3.1 发送消息3.2 消费消息4、

RabbitMQ介绍以及基本使用

文章目录一、什么是消息队列?二、消息队列的作用(优点)1、解耦2、流量削峰3、异步4、顺序性三、RabbitMQ基本结构四、RabbitMQ队列模式1、简单队列模式2、工作队列模式3、发布/订阅模式4、路由模式5、主题模式6、RPC模式7、发布者确认模式五、RabbitMQ相关属性描述总结 一、什么是消息队列?消息队列是一种用于在分布式系统

蚂蚁 Flink 实时计算编译任务 Koupleless 架构改造

张冯君(远远) Koupleless PMC 蚂蚁集团技术工程师 就职于蚂蚁集团中间件团队,参与维护与建设蚂蚁 SOFAArk 和 Koupleless 开源项目、内部 SOFAServerless 产品的研发和实践。 本文 3488 字,预计阅读 11 分钟  业务背景 基于开源 Apache