人工智能

R稀疏矩阵转化稠密矩阵|使用as.matrix()报错:Cholmod error 'problem too large'

在进行一些数据分析是经常会需要将一个数据对象转化为矩阵,以及稀疏矩阵(sparse matrix)和稠密矩阵之间的互化。 问题&报错 在R环境中,用的非常普遍的函数就是as.matrix(),但是,当转化的稀疏矩阵对象非常巨大的时候,例如细胞数目非常多的单细胞数据,R就会报如下类似的错误: Error in asMethod(object) : Cholmod error 'probl

单细胞细胞比例分析方法列举

1.利用箱线图比较两类样本的某个细胞比例差异 比较直观,但是缺点在于如果单细胞样本个数过少且异质性大,导致很难有统计学显著意义 library(ggpubr) data <- data.frame(Cancer = c(0.5, 0.6, 0.8, 0.2), Normal = c(0.2, 0.3, 0.7, 0.4),

大数据之Spark

1、Spark与Hadoop Hadoop 已经成了大数据技术的事实标准,Hadoop MapReduce 也非常适合于对大规模数据集合进行批处理操作,但是其本身还存在一些缺陷。特别是 MapReduce 存在的延迟过高,无法胜任实时、快速计算需求的问题,使得需要进行多路计算和迭代算法的作业过程十分低效。 根据 Hadoop MapReduce 的工作流程,可以分析出 Hadoop MapRedc

kafka集群部署

基本信息: 环境: centos 7.9 集群信息: ip:10.10.5.26 ip:10.10.5.25 ip:10.10.5.24 服务信息: zookeeper版本 3.6.3 kafka版本:2.8.1 1.安装Zookeeper #上传安装包,并创建zookeeper目录 mkdir -p /usr/local/zookeeper tar -xzvf zookeeper-3.6.3.t

飞算JavaAI:重塑Java开发的“人机协同“新模式

声明:文章为本人平台测评博客,非广告,并没有推广该平台 ,为用户体验文章 引言在Java开发领域,“效率"与"质量"的平衡始终是开发者面临的核心挑战——重复编码消耗精力、复杂业务易出漏洞、老系统重构举步维艰。飞算JavaAI的出现,并非简单地用AI替代人工,而是构建了一套&#3

Apache Hudi - 初步了解

知乎上看到的这个文章,视野开阔,转载一下。 URL: ?utm_source=com.ucmobile 自己关于 Apache Hudi 的一些简单的了解和想法。 背景 Hudi 是 Uber 主导开发的开源数据湖框架。所以大部分的出发点都来源于 Uber 自身场景,比如司机数据和乘客数据通过订单 Id 来做 Join

实时数仓的过去、现在和未来

1991年,比尔·恩门(Bill Inmon)出版了他的第一本关于数据仓库的书《Building the Data Warehouse》,标志着数据仓库概念的确立。我们所常说的企业数据仓库Enterprise Data Warehouse (EDW) ,就是一个用于聚合不同来源的数据(比如事务系统、关系数据库和操作数据库),然后方便进行数据访问、分析和报告的系统(例如销售交易数据、移动应用数据和C

三角形的内角和是180度吗?

        大家好,我是小涂涂,我今天要讲的是三角形的内角和是180度吗?因为好多人一看见类似求出三角形的内角和是多少度的这种题,他们一般都会算出来是180度,180度也不是错的。                                                        我们现在是可以肯定一点,就是任意一个三角形,就比如说,锐角三角形,直角三角形,钝角三角形,等等等等,它

机器能做科学家吗?一场关于开放式科研的 AI 革命

目录一、引言:AI 能否成为真正的“科学家”?二、背景综述:构建“自动科研”的基础模块(一)大语言模型(LLMs):AI 科学家的“大脑”(二)LLM 代理框架(Agent Frameworks):让模型“做事”的方式