大数据

Linux 下使用 Docker-Compose 安装 Kafka 和 Kafka-UI(KRaft 模式)

一、背景  测试 Apache ShenYu 网关日志采集和处理时,选用了 kafka 插件。所以记录一下docker-compose 搭建本地 Kafka 环境,通过 Kafka-UI 可视化管理工具进行消息查看和调试的过程。 二、安装环境 操作系统:CentOS 7.9 Docker 版本:20.10.2 Docker-Compose 版本:v2.38.2 Kafka 版本:

Java 大视界 -- Java 大数据机器学习模型在金融衍生品定价与风险管理中的应用(415)

Java 大视界 -- Java 大数据机器学习模型在金融衍生品定价与风险管理中的应用(415) 引言: 正文: 一、 金融衍生品:技术落地的 “核心痛点与需求” 1.1 衍生品核心分类与技术适配性 1.2 传统技术路径的 “三大死穴”(2023 年项目调研实录&#xff09

15、RabbitMQ

1、微服务之间是怎么交互的? 1) 同步 使用OpenFeign 2、异步 使用MQ 需要获取返回值时只能用OpenFeign 2、为什么要用MQ 1)异步,可以提高页面响应速度 2)流量削峰填谷 3、解耦3、详细说一下MQ是怎么用的? 消息发送时使用 RabbitTemple的一个发送方法, 消息消

详解RabbitMQ高级特性之死信队列

目录死信队列添加配置常量类声明队列和交换机并绑定二者关系死信--消息过期给队列设置TTL编写生产消息代码编写消费消息代码观察现象死信--消息超过队列最大长度设置队列的最大长度编写生产消息代码编写消费消息代码观察现象死信--消息被拒绝编写生产消息代码编写消费消息代码观察现象面试题死信队列死信(dead message) 简单理解就是因为种种原因, ⽆法被消费的信息, 就是死信. 有死信, ⾃然就有死

SpringCloud微服务从零带你入门(一)(Eureka | Ribbon | Feign)

前言自前期介绍了SpringBoot框架,这期笔者将带领大家进入SpringCloud的领域,同时为了让大家更好的理解SpringCloud,笔者会将知识点讲的尽量通俗易懂,话不多说,我们开始吧!!! SpringCloudSpringCloud是一系列框架的有序集合,它

基于大数据的短视频用户兴趣分析-hive+django+spider

开发语言:Python 框架:django Python版本:python3.8 数据库:mysql 5.7 数据库工具:Navicat12 开发软件:PyCharm 系统展示管理员登录管理员功能界面短视频界面短视频预测界面看板展示摘要系统基于Django框架进行开发,利用Python语言进行业务逻

大数据领域Kafka的生产者批量发送优化

大数据领域Kafka的生产者批量发送优化 关键词:大数据、Kafka、生产者、批量发送、优化 摘要:在大数据领域,Kafka作为一款高性能的分布式消息队列,被广泛应用于数据的实时处理和传输。Kafka生产者的批量发送机制对于提高系统的吞吐量和性能至关重要。本文将深入探讨Kafka生产者批量发送的原理、核心算法,通过数学模型和公式进行详细分析,并结合项目实战给出具体的代码案例。同时,介