大数据

【大数据技术基础 | 实验十二】Hive实验:Hive分区

文章目录 一、实验目的 二、实验要求 三、实验原理 四、实验环境 五、实验步骤 (一)启动Hadoop集群 (二)用命令进入Hive客户端 (三)通过HQL语句进行实验 六、实验结果 七、实验心得 一、实验目的掌握Hive分区的用法,加深对Hive分区概念的理解&#xf

互联网大厂Java面试故事:产业互联网场景下Spring Cloud、Kafka、JPA、AI与安全全链路实战解析

互联网大厂Java面试故事:产业互联网场景下Spring Cloud、Kafka、JPA、AI与安全全链路实战解析场景设定谢飞机,一位搞笑的Java程序员,来到某产业互联网大厂(如企业供应链平台)面试。平台涵盖采购管理、订单流转、实时消息与智能推荐。第一轮:基础能力与产业互联网业务理解面试官:谢飞机你

基于大数据的短视频用户兴趣分析-hive+django+spider

开发语言:Python 框架:django Python版本:python3.8 数据库:mysql 5.7 数据库工具:Navicat12 开发软件:PyCharm 系统展示管理员登录管理员功能界面短视频界面短视频预测界面看板展示摘要系统基于Django框架进行开发,利用Python语言进行业务逻

大数据应用开发生态搭建(Hadoop3.x)

大数据生态搭建(Hadoop3.x) 文章目录 大数据生态搭建(Hadoop3.x) 1、简介 2、准备虚拟机 **2.1、安装Centos7** 2.2、**关闭防火墙、配置虚拟机网络环境、安装JDK、修改主机名、克隆虚拟机和配置主机IP映射** 1、关闭防火墙 2、设置固定IP 3、修改主机名 4、安装JDK 5、克

时序数据库选型指南,从大数据视角看新一代列式存储引擎的核心优势

在当今数据爆炸的时代,时序数据已成为企业数据资产中增长最快、价值密度最高的数据类型之一。据IDC预测,到2025年,全球实时数据将占数据总量的30%,其中时序数据占比将超过50%。面对如此海量的时序数据处理需求,如何选择合适的时序数据库成为企业数字化转型的关键决策。一、时序数据的独特挑战与选型考量 时序数据的四大特征时序数据与传

Rabbitmq在死信队列中的队头阻塞问题

死信队列(Dead-Letter Queue,DLQ)是 RabbitMQ 处理无法正常消费消息的核心机制,但队头阻塞(Head-of-Line Blocking) 是其高频踩坑点——队列中首个无法被消费的消息会阻塞后续所有消息的处理,即使后续消息本身是合法可消费的。本文从成因、场景、危害、解决方案全

【Kafka 进阶之路】Kafka 消息队列详解

✋ 简介:大家好 ~ 欢迎来到青蛙的池塘,这里是技术分享的池塘 ~ 📕 系列专栏:Java 源码系列、优化方案系列、生产问题系列等 💡 博主正在努力完成 2025 - 2026 年计划:基石计划 ✍️ 雄关漫道真如铁,而今迈步从头越! 🔥 如果觉得有收获

vue3+element-plus实现虚拟列表来解决大数据的问题

前言:         当我们列表数据特别多的时候,往往会带来卡顿与性能问题,按我们之前的逻辑,都是通过虚拟列表的方式来实现,现在在使用element后,他的vue3版本最新新增的功能本身就有虚拟列表,给我们带来了极大的便利,但是他的本身的写法又跟我们传统列表的写法具有很多的区