人工智能

kafka入门:一个开源的、轻量级、高吞吐、高可用的分布式消息系统

背景 随着信息技术的快速发展及互联网用户规模的急剧增长,计算机所存储的信息量正呈爆炸式增长,目前数据量已进入大规模和超大规模的海量数据时代,如何高效地存储、分析、处理和挖掘海量数据已成为技术研究领域的热点和难点问题。而如何采集和运营管理、分析这些数据也是大数据处理中一个至关重要的组成环节,这就需要相应的基础设施对其提供支持。针对这个需求,当前业界已有很多开源的消息系统应运而生,kafka就是一款当

数据中台分析—数据采集与清洗

上一篇《数据中台分析—什么是数据中台?》我们提到,什么是数据中台,数据中台的核心功能。那这一篇我们来研究一下,数据中台中最重要的一步,数据的采集和数据清洗: 数据采集与数据清洗 在做数据采集和数据清洗方式,需要考虑以下几点: 1、数据来源:确定需要采集的数据来源和数据类型,包括数据源的格式、协议、接口等。 2、数据采集方式:根据数据源的类型和数据采集的目的,选择合适的数据采集方式,例如

第六章 Flink中的时间和窗口

时间语义 上图是数据流式处理过程,涉及到两个重要的时间点:事件时间(Event Time)和处理时间(Processing Time)。 事件时间(Event Time):即数据产生的时间; 处理时间(Processing Time):即数据真正被处理的时刻; 我们在处理数据时,以哪种时间作为衡量标准,就是所谓的时间语义问题(Notions of Time)。由于分布式系统中

Go语言并发编程的核心 —— GMP调度模型

在Go语言中,GMP调度模型是实现并发的重要手段之一。GMP调度模型的核心思想是将M(Machine)、G(Goroutine)和P(Processor)三个概念分离开来,通过调度器来协调它们之间的关系,从而实现高效的并发。 M(Machine) M代表着操作系统中的线程,它是Go语言中的执行单位。在程序启动时,Go语言会创建一定数量的M,每个M都会绑定一个P。M的数量默认是CPU核心数,但是可以

“图像”函数

机器视觉原理与案例详解 工控帮教研组编著 电子工业出版社 2020.7 ISBN 978-7-121-39084-5 一、“图像”函数 “图像”函数的作用是改善原图、突出所需特征、清除或消除不必要的特征。下面介绍几个常用的“图像”函数。 (1)CompareImage函数 CompareImage函数用于存储一个参考图像(又称模板图像),将产品图像与参考图像进行比较(标准化的差异操作),

学会分享才会学得更好

    有一种学习方法叫“教授他人”,可以让你学得更好。要想给别人讲明白,自己得先弄明白。这个经验有没有经过科学实证验证?   科学家做了大量科学研究,结果表明,当教授他人时,会获得显著的学习收益,这在研究中称之为“从教中学”。学习有三种结果。   第一种:无效学习,既没有学到知识,也不能迁移应用,什么都没有学到。比如,听了一堂课,啥也没记住。第二种:机械学习,能记住相关信息,但不理解也不能运

第三章Scala 基础语法

如果你之前是一名 Java 程序员,并了解 Java 语言的基础知识,那么你能很快学会 Scala 的基础语法。Scala 与 Java 的最大区别是:Scala 语句末尾的分号 ; 是可选的。我们可以认为 Scala 程序是对象的集合,通过调用彼此的方法来实现消息传递。接下来我们来理解下,类,对象,方法,实例变量的概念: 对象 - 对象有属性和行为。例如:一只狗的状属性有:颜色,名字,行为有: