人工智能

华为十年架构师实战经验总结:大规模分布式系统架构与设计实战

前言 本篇是从程序员到首席架构师十多年职业生涯的实战经验总结,系统讲解构建大规模分布式系统的核心技术与实现方法,包含开源的Fourinone系统的设计与实现过程,手把手教你掌握分布式技术。 通过学习这个系统的实现方法与相关的理论,读者可快速掌握分布式系统的理论并设计自己的分布式系统。 image.png 本篇从分布式计算的基本概念开始,解剖了众多流行概念的本质,深入讲解分布式系统的基本

新编儿时童话【377】小花猫流浪记之热带雨林205---讨厌‘意思’

真正的强者,夜深人静时,把心掏出来自己缝缝补补,睡一觉醒来,又是信心百倍。 “切,真没意思,说两句就和好了,翅膀都没有摸一下!”大狐蝠灰灰没有看到预料中的热闹,有些不开心的说讽刺道。 还是前天傍晚那个热闹好看,蛇和老鹰打得真热闹,虽然我和白白的打赌输了,不过打得真热闹,大狐蝠灰灰小脑袋回忆着前天的事情。 “你什么意思?灰灰。” 乌鸦煤球非常欣慰自己将朋友们劝好了,然后听到了大狐蝠灰灰凉凉的话语。

土味儿说明数据治理-主数据&参考数据(参考数据)

一,前言 主数据和参考数据在我们数据开发或者JavaWeb开发的同学都有经常接触,并且是大量的使用和分析场景,在数据治理中提到的一些专业名词在数据仓库中或者业务的RDBMS库中都有对应的关系映射。 映射关系: 图片.png 业务系统中交易的订单状态,支付中的支付状态 在数据治理中都可以理解为参考数据。这类数据的特性在于他要比主数据小,具体体现是参考数据的 “列和行” 都要比主数据小,

《计算机与人脑》:现代模拟计算机的特征

大师之所以为大师,就是他们敢于做出不同寻常的事。这两百个字,也能算一章吗?为啥不跟后面的数字计算机的特征合并呢? 好吧,可能从逻辑上来说,结构更清晰吧。 这一小段篇章里,冯诺依曼讲述的是模拟计算机的构成及成本,倒不太像是特征。他的观点就是如下几条(用123来表述,可以把我的篇幅显得更长一点……): [if !supportLists]1)[endif]最大型(当年的)的模拟计算机,基本计算器官约有

天文速递|2023年1月下篇

04  与众不同的一例长伽马射线暴 GRB 211211A的艺术图。图源: Anyu Lei and Jing Chen, Nanjing University School of Arts 最近,一例独特的伽马射线暴(GRB)的发现,挑战了GRB形成的流行理论。天文学家基于这例“古怪”的爆发为GRB提出了一种新的模型和形成来源。与这例GRB相关的三篇学术论文发表于2022年12月7

AI 的工具集专栏:选对工具做对事,高效玩转 AI 时代

AI 的工具集专栏:选对工具做对事,高效玩转 AI 时代 AI 的工具集专栏:选对工具做对事,高效玩转 AI 时代,本文介绍 “AI 的工具集专栏”,围绕主流 AI 工具展开,介绍其基本情况、优势、适用场景及使用技巧。学习该专栏能提升多种能力,包括识别和选择 AI 工具&#xff

数据倾斜导致子任务积压

业务背景: 一个流程中,有两个重要子任务:一是数据迁移,将kafka实时数据落Es,二是将kafka数据做窗口聚合落hbase,两个子任务接的是同一个Topic GroupId。上游Topic的 tps高峰达到5-6w。 问题描述: 给 24个 TaskManager(CPU) 都会出现来不及消费的情况。 问题原因: 做窗口聚合的任务的分组字段,分组粒度太小,hash不能打散,数据倾斜严重,导致少