如何给 HDFS 「减肥」之数据清理 Hadoop 平台运行至今,前期处于放任自由的状态,后期才开始稍加管控,指定相关数据使用规范。日积月累,数据规模越来越大,元数据暴增,Namenode rpc 频繁超时告警,Namenode HA 切换也较为频繁。 企业的预算不可能无限增加,所以一个良好的平台规范以及定时数据清理机制,对平台的来说至关重要,属于非常实在的降本增效工作。 这里记录下我们组的近期制定的 HDFS「瘦身计划」。 1. 人工智能 2025年06月17日 105 点赞 0 评论 3761 浏览
跟着Nature Plants学作图:R语言ggplot2画分组折线图和置信区间 论文 The flying spider-monkey tree fern genome provides insights into fern evolution and arborescence #Sec44 数据下载链接 人工智能 2025年04月18日 149 点赞 0 评论 3802 浏览
一文学好部署安装p8s operator 概述 为了在Kubernetes中能够方便管理和部署Prometheus,我们使用ConfigMap管理Prometheus配置文件。 promethuse中间也刚好8个字符,我们也称为p8s. p8s Operator架构原理 从概念上来讲Operator就是针对管理特定应用程序的,在Kubernetes基本的Resource和Controller的概念上,以扩展Kubernetes api的形 人工智能 2025年07月05日 117 点赞 0 评论 3826 浏览
用飞算JavaAI轻松完成高校宿舍管理系统 今天我们使用飞算来完成高校宿舍管理系统。 一、需求分析与规划 1.1 功能需求与核心模块高校宿舍管理系统主要服务于宿舍管理员、学生和学校管理部门,实现宿舍资源的数字化管理。系统核心功能包括:用户管理(登录认证、角色权限分配)、宿舍管理(楼栋房间信息、床位分配状态)、学生住宿管理(入住登记、宿舍分配调换 人工智能 2025年09月14日 125 点赞 0 评论 3832 浏览
从原理到落地:Agent AI 技术拆解与工程实践指南 🎁个人主页:User_芊芊君子 🎉欢迎大家点赞👍评论📝收藏⭐文章 🔍系列专栏:AI 【前言】 在人工智能技术从“工具化”向“自主化”演进的浪潮中,Agent AI(智能体已成为连接技术研究与产业落地的核心桥梁。不同于传统AI需要人工明确指令才能完成 人工智能 2025年12月03日 62 点赞 0 评论 3856 浏览
什么是数据治理? 所谓“数字转型,治理先行”,近年来在国家政策倡导下,地方政府、国企、央企以及很多传统企业都是走数字化转型的路,而在数字化转型的过程中,数据治理可谓是重中之重。那么,何为数据治理?数据治理有什么意义?怎么进行数据治理?今天我就来跟大家分享一下我对数据治理的看法。 数据治理的定义 关于数据治理,国际数据治理研究所(DGI)给出的定义是:“数据治理是一个通过一系列信息相关的过程来实现决 人工智能 2025年05月25日 90 点赞 0 评论 3897 浏览
可视化:和弦图 和弦图(chord Diagram),是一种显示数据间相互关系的可视化方法,节点数据沿圆周径向排列 (节点的权重决定了节点的大小),节点之间使用带权重 (越大条带越宽) 的弧线 (也可以带有方向性) 链接。 绘图 circlize包专门用于绘制圆圈图的R包,和弦图算是其中的一个类型,该包也有一个专门用于绘制和弦图的函数chordDiagram,用起来还是挺方便的。该函数接受的数据格式可以是 人工智能 2025年09月04日 88 点赞 0 评论 3922 浏览
技术解析|Doris Connector 结合 Flink CDC 实现 MySQL 分库分表 Exactly Once 精准接入 685-383.jpg 本篇文档将演示如何使用 Apache Doris Flink Connector 结合 Flink CDC 以及 Doris Stream Load 的两阶段提交,实现 MySQL 数据库分库分表实时高效接入,并实现 Exactly Once。 一、概述 在实际业务系统中为了解决单表数据量大带来的各种问题,我们通常采用分库分表的方式对库表进行拆分,以达到提高系统 人工智能 2025年05月29日 121 点赞 0 评论 3938 浏览
读懂大模型核心:Transformer 与 AI 发展的底层逻辑 AI,即人工智能(Artificial Intelligence),是一门跨越计算机科学、数学、神经科学等多领域的前沿学科,其核心目标是赋予机器类人的认知能力 —— 包括自主思考、逻辑推理、持续学习与复杂问题解决。从早期的规则式算法到如今的智能交互,AI 的发展历经半个多世纪的迭代,而真正推动其迈入 人工智能 2025年12月28日 87 点赞 0 评论 3969 浏览