大数据

史上最全Flink面试题(完整版)

1、简单介绍一下 FlinkFlink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。并且 Flink 提供了数据分布、容错机制以及资源管理等核心功能。Flink提供了诸多高抽象层的API以便用户编写分布式任务: DataSet API, 对静态数据进行批处理操作,将静态数据抽象成分布式的数据集,用户可以

HBase的安装与简单操作

文章目录 第1关:Hbase数据库的安装 第2关:创建表 第3关:添加数据、删除数据、删除表 第1关:Hbase数据库的安装编程要求 根据上述步骤安装配置好HBase数据库,并启动成功。测试说明 若安装配置成功,则程序会输出:hbase-env.sh解压路径正确 Hbase已启动 各

SpringBoot消息队列集成:RabbitMQ、Kafka使用源码级分析(17)

SpringBoot消息队列集成:RabbitMQ、Kafka使用源码级分析 一、消息队列基础概念 1.1 消息队列的定义与作用消息队列(Message Queue)是一种在不同组件或应用之间传递消息的中间件技术。它基于"生产者-消费者"模式,允许应用程序通过发送和接收消息来进行异步通信。消息队列的主要作用包括&#xff1a

黑马点评完整代码(RabbitMQ优化)+简历编写+面试重点 ⭐

简历上展示黑马点评完整代码地址 项目描述黑马点评项目是一个springboot开发的前后端分离项目,使用了redis集群、tomcat集群、MySQL集群提高服务性能。类似于大众点评,实现了短信登录、商户查询缓存、优惠卷秒杀、附近的商户、UV统计、用户签到、好友关注、达人探店 八个部分形成了闭环。其中重点使用了分布式锁实现了一人一单功能、项目中大量使用了Redis

震撼登场!大数据下交易数据的挖掘策略

震撼登场!大数据下交易数据的挖掘策略:从理论到实践的全栈解析 元数据框架 标题震撼登场!大数据下交易数据的挖掘策略:从分布式系统到因果推断的全栈实践指南 关键词交易数据挖掘;大数据架构;实时流处理;关联规则;欺诈检测;推荐系统;联邦学习 摘要交易数据是商业世界的“数字血液”——从电商订单、金融交易到零售POS记录,每一条数据都隐含着用户行为、市场趋势与商业机会。当交易数据从GB级跃升至PB级,传

RabbitMQ 进阶

文章目录 一、发送者的可靠性 1.1 生产者重试机制: 1.2 生产者确认机制: 1.2.1 开启生产者确认: 1.2.2 定义 ReturnCallback: 1.2.3 定义 ConfirmCallback: 二、MQ 的可靠性 2.1 数据

黑马头条日记 | Kafka Stream流式计算 —— 助你实时计算热点文章

一、引文 我们上一篇定时计算热点文章使用的是XXL-JOB,这个方案有几个明显的不足。第一个不足就是每一次计算评分都是把最近5天全部文章拉出来一起评分,这种全量扫描在很多情况下是没必要的,比如说那些评分数据不变的就没必要拉出来再算复用之前的评分即可。第二个不足就是用户只有在隔天才能感受到热点文章的变化,无法实时感知,时效性差。因

【详解】安装单节点并配置启动Kafka

目录安装单节点并配置启动Kafka环境准备系统要求安装 Java下载并解压 Kafka配置 Kafka修改 ​​server.properties​​启动 ZooKeeper启动 Kafka测试 Kafka创建主题发送消息接收消息停止 Kafka 和 ZooKeeper停止 Kafka停止 ZooKeeper前提条件步骤 1: 安装 Java步骤 2: 下载 Kafka步骤 3: 配置 Kafka

【推荐系统】深度学习训练框架(十五):特征工程——PySpark DataFrame数据处理核心指南

📚 一、DataFrame核心概念 1.1 什么是DataFrame?本质:PySpark DataFrame是一个分布式、不可变、基于命名列的数据集合,类似于关系型数据库表或Pandas DataFrame,但底层是RDD的封装。关键特性: 分布式处理:数据自动分区在集群节点上并行处理 惰性

【RabbitMQ】简介

目录 一、MQ简介 二、RabbitMQ简介 三、Linux下 安装 RabbitMQ 3.1 Ubuntu 环境安装 3.2 CentOS 安装 四、工作流程 五、核心概念 六、快速上手示例 6.1 引入依赖 6.2 生产者 6.2.1 建立连接 6.2.2 开启信道 创建Channel 6.2.3 声明一个交换机和一个队列queue 6.2.4 发送消息 6.2.5