运维项目问题原因复盘
近期的一个项目在运维期总是有些问题，并持续受到领导及客户的关注，经过昨天的复盘，发现了一些问题。
首先是，数据在多系统之间进行分发，最终的应用app的数据最终显示缺失，造成客户投诉。经过历史经验分析，在长期的数据分发中，可能在各个环节中存在数据丢失的问题，但是仍然不确定是哪个环境出现了数据丢失，并且在数据交换时，没有对数据进行合规性校验。
初步解决方案是采用第三方数据质量平台进行定期校验，一方面是
人工智能
IO-Zero Copy
要说 IO 的性能优化就不得不提 Zero Copy（零拷贝），虽然名字叫零拷贝，但其实并不是完全没有拷贝过程，而是尽量减少不必要的拷贝及上下文切换。各种消息队列可以说是将零拷贝技术用到了极致，像 Kafka、RocketMQ 都用到到了 mmap、sendfile 等零拷贝技术来提升服务的性能。我们最常用的应用服务 Tomcat、Nginx 在返回静态资源的时候，都有使用零拷贝技术
Java并发 - fork/join并发处理框架
思想：分而治之
用来做什么
ForkJoinPool是ExecutorService接口的实现，它专为可以递归分解成小块的工作而设计。fork / join框架将任务分配给线程池中的工作线程，充分利用多处理器的优势，提高程序性能。使用fork / join框架的第一步是编写执行一部分工作的代码。类似的伪代码如下:
如果（当前工作部分足够小)
直接做这项工作
其他
把当前工作分成两部分调用这两个部
一些Kafka知识点记录
Kafka
Kafka是一种高吞吐量的分布式发布订阅消息系统。用于日志处理的分布式消息队列，同时支持离线和在线日志处理。具有高性能、持久化、多副本备份、横向扩展能力。
Producer：
发送消息者。将消息发布到指定的Topic 中,同时Producer 也能决定将此消息归属于哪个partition;比如基于"round-robin"方式或者通过其他的一些算法等。
Consumer：
消息接受者
技术解析｜Doris Connector 结合 Flink CDC 实现 MySQL 分库分表 Exactly Once 精准接入
685-383.jpg
本篇文档将演示如何使用 Apache Doris Flink Connector 结合 Flink CDC 以及 Doris Stream Load 的两阶段提交，实现 MySQL 数据库分库分表实时高效接入，并实现 Exactly Once。
一、概述
在实际业务系统中为了解决单表数据量大带来的各种问题，我们通常采用分库分表的方式对库表进行拆分，以达到提高系统
627.【hadoop】解决java.io.IOException: Cannot run program "bash"
一、问题详情
环境说明
JDK版本：19
hadoop版本: 3.2.2
操作系统版本: centos 7.6
描述
今天在部署hadoop的时候，在执行 start-dfs.sh 遇到下面的问题，提示我 Cannot run program "bash"，我心里一纳闷，这是linux系统，bash 会执行不了？
2023-04-02 05:19:05,423 ERROR org.apache
spark数据倾斜以及解决方案
对 Spark/Hadoop 这样的分布式大数据系统来讲，数据量大并不可怕，可怕的是数据倾斜。
对于分布式系统而言，理想情况下，随着系统规模（节点数量）的增加，应用整体耗时线性下降。如果一台机器处理一批大量数据需要120分钟，当机器数量增加到3台时，理想的耗时为120 / 3 = 40分钟。但是，想做到分布式情况下每台机器执行时间是单机时的1 / N，就必须保证每台机器的任务量相等。不幸的是，很多
iOS 音频处理框架及重点 API 合集丨音视频工程示例
vx 搜索『gjzkeyframe』 关注『关键帧Keyframe』来及时获得最新的音视频技术文章。
毕加索《手里捧着鸽子的孩子》像素版
这个公众号会路线图 式的遍历分享音视频技术：音视频基础(完成) → 音视频工具(完成) → 音视频工程示例(进行中) → 音视频工业实战(准备)。
iOS/Android 客户端开发同学如果想要开始学习音视频开发，最丝滑的方式是对音视频基础概念知识有
基于R语言的微生物群落组成多样性分析—β多样性之PCoA分析
引言
，即主坐标分析（Principal Coordinates Analysis），是一种用于研究样本微生物群落组成相似性或差异性的数据降维分析方法。PC1 和PC2 是两个主坐标成分，图中每个点代表一个样本，点的颜色代表样本的分组，样本间的距离越近代表微生物群落结构越相似。图中圆圈一般是置信水平为95%时的置信椭圆，用于比较组间的群落结构组成相似性。
正文
1、设置工作目录
rm(li
MapReduce实现报告-容错
MapReduce的容错
mapreduce常用语大数据处理，需要在集群中利用多台机器一起工作，所以必须能够有容错能力，能从容的处理突发的机器状况
worker Failure
master会定期的对所有worker发送请求，像心跳机制，虽然都是leader或者master发送但是raft里面的心跳是leader发送给所有follower告知他们我有心跳，防止follower发起leader选举，
