人工智能
  1. 首页
  2. IT互联网
  3. 人工智能

列表

技术解析｜Doris Connector 结合 Flink CDC 实现 MySQL 分库分表 Exactly Once 精准接入

技术解析｜Doris Connector 结合 Flink CDC 实现 MySQL 分库分表 Exactly Once 精准接入

685-383.jpg 本篇文档将演示如何使用 Apache Doris Flink Connector 结合 Flink CDC 以及 Doris Stream Load 的两阶段提交，实现 MySQL 数据库分库分表实时高效接入，并实现 Exactly Once。 一、概述 在实际业务系统中为了解决单表数据量大带来的各种问题，我们通常采用分库分表的方式对库表进行拆分，以达到提高系统
人工智能 2025年05月29日
7. 宝剑还需剑鞘：核心算法外的一些代码实现

7. 宝剑还需剑鞘：核心算法外的一些代码实现

k-近邻算法是个挺好的算法，我喜欢，也希望大家喜欢。它简单小巧，如同一柄鱼肠剑，但同样锋利无比。上一篇我们解读了核心的13行代码，由于作者用了一番python的特色函数，所以写的短小精悍。我也会尝试写一个行数更多、跑的更慢，但更容易理解的，这在后文再说，到时候也会就性能等做个对比。现在，我们先来看看，除了核心代码外的一些实现。 先来看一下数据的准备，如何从文本文件里读出数据并转换成numpy数组
人工智能 2025年06月08日
什么是数据治理？

什么是数据治理？

所谓“数字转型，治理先行”，近年来在国家政策倡导下，地方政府、国企、央企以及很多传统企业都是走数字化转型的路，而在数字化转型的过程中，数据治理可谓是重中之重。那么，何为数据治理？数据治理有什么意义？怎么进行数据治理？今天我就来跟大家分享一下我对数据治理的看法。 数据治理的定义 关于数据治理，国际数据治理研究所（DGI）给出的定义是：“数据治理是一个通过一系列信息相关的过程来实现决
人工智能 2025年05月25日
一文学好部署安装p8s operator

一文学好部署安装p8s operator

概述 为了在Kubernetes中能够方便管理和部署Prometheus，我们使用ConfigMap管理Prometheus配置文件。 promethuse中间也刚好8个字符，我们也称为p8s. p8s Operator架构原理 从概念上来讲Operator就是针对管理特定应用程序的，在Kubernetes基本的Resource和Controller的概念上，以扩展Kubernetes api的形
人工智能 2025年07月05日
人工智能与人类社会的复杂关系：挑战与应对

人工智能与人类社会的复杂关系：挑战与应对

文章目录 摘要 引言 一、人工智能发展现状及其对人类社会的双重影响 二、人工智能对就业市场的影响 三、人口老龄化背景下的机遇与挑战 四、人工智能引发的社会不平等问题 五、人工智能的伦理与法律挑战 六、应对策略与未来展望 七、结论 摘要本文探讨了人工智能与人类社会的复杂关系，分析了人工智能发展带来的机遇与挑战。文章重点讨论了人工智能对就业市场的影响、人口老龄化
人工智能 2025年04月22日
如何给 HDFS 「减肥」之数据清理

如何给 HDFS 「减肥」之数据清理

Hadoop 平台运行至今，前期处于放任自由的状态，后期才开始稍加管控，指定相关数据使用规范。日积月累，数据规模越来越大，元数据暴增，Namenode rpc 频繁超时告警，Namenode HA 切换也较为频繁。 企业的预算不可能无限增加，所以一个良好的平台规范以及定时数据清理机制，对平台的来说至关重要，属于非常实在的降本增效工作。 这里记录下我们组的近期制定的 HDFS「瘦身计划」。 1.
人工智能 2025年06月17日
Spark入门及环境搭建

Spark入门及环境搭建

一、Spark是什么 Spark是Apache下的一个用于大规模数据处理的统一分析引擎，Unified engine for large-scale data analytics. Spark还是一个支持多语言的（Python、SQL、Scala、Java、R），可以在单节点或者集群上用作数据工程、数据科学和机器学习的内存计算引擎。 Spark借鉴了MapReduce的思想发展而来，保留了其分布式
人工智能 2025年05月21日
扩散模型

扩散模型

常见的生成模型（Generative Models）如 GAN、VAE 和基于流( Flow-based )的模型。他们在生成高质量样本方面取得了巨大成功，但每个都有其自身的局限性。 GAN 因其对抗性训练性质，其训练过程难以收敛以及生成多样性欠佳。 VAE 依赖于替代损失（surrogate loss）。流模型必须使用专门的架构来构建可逆变换。 扩散模型( Diffusion Models )
人工智能 2025年07月07日