人工智能

总结一下近期(2022-09)学习的开源软件(二)

    这一篇文章总结一下数据相关的两个开源软件:ckan 和 watchmen。     很多企业在做数字化转型,尤其是很多公司在做DCMM(数据管理能力成熟度模型)认证,除了熟悉标准条款等工作以外,我们还可以通过学习一些软件的功能和设计来消化理论知识,扩大相关知识面。面对专家的时候才能从容、自信,轻松吸收专家的指导意见。 CKAN CKAN is an open-source DMS (dat

433. 【数据库技术基础】大数据的特征

大数据(Big Data)是指“无法用现有的软件工具提取、存储、搜索、共享、分析和处理的海量的、复杂的数据集合”。业界通常用 “4V” 来概括大数据的特征。 大量化(Volume)指数据体量巨大。随着 IT 技术的迅猛发展,数据量级已从 TB 发展至 PB 乃至 ZB,可称海量、巨量乃至超量。当前,典型个人计算机硬盘的容量为 TB 量级,而一些大企业的数据量已经接近 EB 量级。 多样化(Var

单细胞 & 空间整合去批次方法比较(2)

作者,追风少年i 开头先放一张marker表,供大家参考 marker list 这一篇内容很简单 接上一篇,上一篇文章单细胞 & 空间整合去批次方法比较介绍了以下几种方法整合去批次的代码 CCA merge SCT merge & SCT merge加harmony SCT && harmony 关于上述方法我只强调一点,就是ScaleData的时

elasticsearch多字段聚合实现方式

1、背景 我们知道在sql中是可以实现 group by 字段a,字段b,那么这种效果在elasticsearch中该如何实现呢?此处我们记录在elasticsearch中的3种方式来实现这个效果。 2、实现多字段聚合的思路 实现多字段聚合的思路 从上图中,我们可以知道,可以通过3种方式来实现 多字段的聚合操作。 3、需求 根据省(province)和性别(sex)来进行聚合,然后

打造个人品牌三个快速破圈的方法

个人品牌3个破圈的方法: 1、不断输出 不断地输出内容、资源、能力、技能等,因为只有不断向外输出才会吸引志同道合的人······ 2、真诚利他、主动合作 你要积极地去创造价值,学会价值互换,才会越合作越赚钱······ 3、为价值买单 有用的价值:往往三言两语带你走出弯路(有些真理都在言语当中)······ 无用的价值:就是给你无用的课程让你自己去学(什么也不说什么也不教)······

优化算法matlab实现(一)相关matlab基础

之前实现优化算法用的java、python、c++,matlab使用较少,接下来会用matlab来实现。此处记录了一些matlab中常用的函数和需要注意的地方。 Matlab版本2015b 1.向量 Matlab的名称就是矩阵实验室,其中大多数运算都是矩阵运算。不过,优化算法中,向量用的更多。矩阵中m*n的矩阵表示m行n列的矩阵,向量可以认为是1行n列的矩阵。   下面介绍如何初始化向量。

7.一文搞懂Flink中窗口的概念

1.前言 在上一篇文章当中说了,如果需要进行双流join操作,可以选择在窗口的范围内进行,join操作会以窗口范围内的所有数据做inner join,然后将匹配到的所有数据交给计算函数进行处理,这就是窗口join的执行方式,但是这里也有一个之前没有提到过的概念,那就是“窗口”。 窗口在数据计算的过程中很常见,它要做的实际上就是在没有尽头的数据流中切割出一段一段的范围区间,然后对这个区间的数据进行相

72、重要的事情

苏菲想知道,周青子接下来还会说些什么? 苏菲仔细的想了想周青子和自己的关系,觉得自己还是有必要的将她的信件在看看······想知道周青子还会说出什么样让自己不痛快的话来。 因为已经受过了一次的好朋友的打击,再次重新的阅读这封信的前半部分的时候,苏菲的心里已经没有一开始那么难受了,但是心里还会有些堵得慌,忍耐着继续的看下去。 接下来的内容,周青子没有在说苏菲的不是,而是将宋韩和那个女生的故事,当然是