人工智能
Apache Hudi - 初步了解
知乎上看到的这个文章，视野开阔，转载一下。
URL：
?utm_source=com.ucmobile
自己关于 Apache Hudi 的一些简单的了解和想法。
背景
Hudi 是 Uber 主导开发的开源数据湖框架。所以大部分的出发点都来源于 Uber 自身场景，比如司机数据和乘客数据通过订单 Id 来做 Join
一文搞懂池化层！Pooling详解(魔改篇)
一. Overlapping Pooling(重叠池化)
重叠池化正如其名字所说的，相邻池化窗口之间会有重叠区域，此时sizeX > stride
提出于ImageNet Classification with Deep Convolutional Neural Networks
相对于传统的no-overlapping pooling，采用Overlapping Pooling不仅可
GeNets：发表在nature上的基因组分析网站平台工具
2018年6月Nature Methods上发表了一篇关于机器学习分析特定基因集内部关系工具的文章，简单来说就是，通常我们做了差异基因分析得到一个基因集合，然后会用GO/KEGG富集进行进一步分析，但是该工具给我们提供了另一种可能，通过对差异基因集进行机器学习训练最终得到部分关键的基因以及基因间相互作用。该工具以网站的形式方便大家使用，目前只支持人的基因集输入，笔者输入数据后的运行结果如下图所示，
【知识】ETL大数据集成工具Sqoop、dataX、Kettle、Canal、StreamSets大比拼
1. 摘要
对于数据仓库，大数据集成类应用，通常会采用ETL工具辅助完成。ETL，是英文 Extract-Transform-Load 的缩写，用来描述将数据从来源端经过抽取（extract）、交互转换（transform）、加载（load）至目的端的过程。当前的很多应用也存在大量的ELT应用模式。常见的ETL工具或类ETL的数据集成同步工具很多，以下对开源的Sqoop、dataX、
市场洞察所需要的“数据”，是如何搜集的呢？
市场洞察所需要的“数据”，是如何搜集的呢？
一、传统的数据收集方法
1.1一手数据
一手数据，也称之为原始数据，是指通过人员访谈、询问、问卷、测定等方式，直接获得的新数据。
收集方法：定性调查与定量调查。
定性调查：主要通过一对一“深度访谈”，例如焦点座谈会。
定量调查：主要通过向消费者发送一个结构化的调查问卷获取数据。
两者可以结合使用，先定性调查挖掘未知、深度，然后定量调查实现数
跟着Nature Communications学作图--复杂散点图
复杂散点图
从这个系列开始，师兄就带着大家从各大顶级期刊中的Figuer入手，从仿照别人的作图风格到最后实现自己游刃有余的套用在自己的分析数据上！这一系列绝对是高质量！还不赶紧点赞+在看，学起来！
参考文献
本期分享的是Nature Communications上一篇关于机器学习的文章中的散点图。
这个散点图的亮点在于充分利用了散点的填充和描边属性，将两者与图形要表达
大数据：HDFS知识体系（知其然，知其所以然）
前言
HDFS是Hadoop体系的基础，不知道各位怎么对待HDFS。反正我更多的关注一些应用层的东西，对于HDFS多有忽视。
但是每次面试的时候都要重新去背面经，我觉得这样的情况不太正常，因此耗时两天半整理了HDFS的知识体系，力求知其然也要知其所以然。
文章中有不少个人思考，希望能让各位更好的理解HDFS.
一、HDFS特性
高容错性：HDFS认为硬件总是不可靠的。
高吞吐量：HDFS为大量
651.【系统架构】边缘计算——边云协同（一）
边缘计算与云计算各有所长，云计算擅长全局性、非实时、长周期的大数据处理分析，能够在长周期维护、业务决策等领域发挥优势；
边缘计算更适用局部性、实时、短周期数据的处理与分析，能更好地支撑本地业务的实时智能化决策与执行。
因此边缘计算与云计算之间不是替代关系，而是互补协同关系，边云协同将放大边缘计算与云计算的应用价值：
边缘计算既靠近执行单元，更是云端所需高价值数据的采集和初步处理单元，可以更好地支
