人工智能

大数据:HDFS知识体系(知其然,知其所以然)

前言 HDFS是Hadoop体系的基础,不知道各位怎么对待HDFS。反正我更多的关注一些应用层的东西,对于HDFS多有忽视。 但是每次面试的时候都要重新去背面经,我觉得这样的情况不太正常,因此耗时两天半整理了HDFS的知识体系,力求知其然也要知其所以然。 文章中有不少个人思考,希望能让各位更好的理解HDFS. 一、HDFS特性 高容错性:HDFS认为硬件总是不可靠的。 高吞吐量:HDFS为大量

跟着Nature Communications学作图--复杂散点图

复杂散点图 从这个系列开始,师兄就带着大家从各大顶级期刊中的Figuer入手,从仿照别人的作图风格到最后实现自己游刃有余的套用在自己的分析数据上!这一系列绝对是高质量!还不赶紧点赞+在看,学起来! 参考文献 本期分享的是Nature Communications上一篇关于机器学习的文章中的散点图。 这个散点图的亮点在于充分利用了散点的填充和描边属性,将两者与图形要表达

市场洞察所需要的“数据”,是如何搜集的呢?

市场洞察所需要的“数据”,是如何搜集的呢? 一、传统的数据收集方法 1.1一手数据 一手数据,也称之为原始数据,是指通过人员访谈、询问、问卷、测定等方式,直接获得的新数据。 收集方法:定性调查与定量调查。 定性调查:主要通过一对一“深度访谈”,例如焦点座谈会。 定量调查:主要通过向消费者发送一个结构化的调查问卷获取数据。 两者可以结合使用,先定性调查挖掘未知、深度,然后定量调查实现数

《噪声》全书总结

1.偏差和噪声,即系统性偏差和随机分散,是误差的不同组成成分。偏差和噪声是独立的。 2.可将“判断”描述为使用人类大脑作为工具的一种测量。决策需要预测性判断和评估性判断。 3.噪声的分类:水平噪声/模式噪声/情境噪声。情绪是情境噪声的源头。 4.明智的简单规则比人类的判断要好很多。 5.理解现实的过程是回溯性的。理解就是描述因果关系,而预测能力就是衡量这一因果关系是否成立的指标。 6.替代偏差导致

机器能做科学家吗?一场关于开放式科研的 AI 革命

目录一、引言:AI 能否成为真正的“科学家”?二、背景综述:构建“自动科研”的基础模块(一)大语言模型(LLMs):AI 科学家的“大脑”(二)LLM 代理框架(Agent Frameworks):让模型“做事”的方式

从人类到 AI:意群阅读的奥秘与英语学习的高效技巧

一、人类的英语阅读理解:意群如何加速大脑处理? 1.1 什么是意群(Chunking):自然语义单元意群,顾名思义,就是将语言中具有内在联系的部分组合在一起,形成一个相对独立且完整的语义单元。举个简单的例子,在句子“I love reading books in the

三角形的内角和是180度吗?

        大家好,我是小涂涂,我今天要讲的是三角形的内角和是180度吗?因为好多人一看见类似求出三角形的内角和是多少度的这种题,他们一般都会算出来是180度,180度也不是错的。                                                        我们现在是可以肯定一点,就是任意一个三角形,就比如说,锐角三角形,直角三角形,钝角三角形,等等等等,它

kafka集群部署

基本信息: 环境: centos 7.9 集群信息: ip:10.10.5.26 ip:10.10.5.25 ip:10.10.5.24 服务信息: zookeeper版本 3.6.3 kafka版本:2.8.1 1.安装Zookeeper #上传安装包,并创建zookeeper目录 mkdir -p /usr/local/zookeeper tar -xzvf zookeeper-3.6.3.t

大数据之Spark

1、Spark与Hadoop Hadoop 已经成了大数据技术的事实标准,Hadoop MapReduce 也非常适合于对大规模数据集合进行批处理操作,但是其本身还存在一些缺陷。特别是 MapReduce 存在的延迟过高,无法胜任实时、快速计算需求的问题,使得需要进行多路计算和迭代算法的作业过程十分低效。 根据 Hadoop MapReduce 的工作流程,可以分析出 Hadoop MapRedc

R稀疏矩阵转化稠密矩阵|使用as.matrix()报错:Cholmod error 'problem too large'

在进行一些数据分析是经常会需要将一个数据对象转化为矩阵,以及稀疏矩阵(sparse matrix)和稠密矩阵之间的互化。 问题&报错 在R环境中,用的非常普遍的函数就是as.matrix(),但是,当转化的稀疏矩阵对象非常巨大的时候,例如细胞数目非常多的单细胞数据,R就会报如下类似的错误: Error in asMethod(object) : Cholmod error 'probl