人工智能
如何给 HDFS 「减肥」之数据清理
Hadoop 平台运行至今，前期处于放任自由的状态，后期才开始稍加管控，指定相关数据使用规范。日积月累，数据规模越来越大，元数据暴增，Namenode rpc 频繁超时告警，Namenode HA 切换也较为频繁。
企业的预算不可能无限增加，所以一个良好的平台规范以及定时数据清理机制，对平台的来说至关重要，属于非常实在的降本增效工作。
这里记录下我们组的近期制定的 HDFS「瘦身计划」。
1.
Spark入门及环境搭建
一、Spark是什么
Spark是Apache下的一个用于大规模数据处理的统一分析引擎，Unified engine for large-scale data analytics.
Spark还是一个支持多语言的（Python、SQL、Scala、Java、R），可以在单节点或者集群上用作数据工程、数据科学和机器学习的内存计算引擎。
Spark借鉴了MapReduce的思想发展而来，保留了其分布式
《教育心理学》学习2-3
位置法
如果说图像法是一种帮助编码记忆材料的方法，那么“位置法”（method of loci,MOL）就是一种帮助检索材料的“线索”。许多人在记忆时往往会结合图像法和位置法进行记忆。位置法是目前最主要的记忆术之一，相传是古希腊诗人西蒙尼停斯（Simonides of Ceos)首先提出的。如今很多一流的记忆大师（例如世界记忆冠军王峰等）或多或少都会使用这种方法。
想象一条你熟悉的路线，比如从
深入剖析 AI 大模型的反向传播原理
深入剖析 AI 大模型的反向传播原理：从理论到源码实现
本人掘金号，欢迎点击关注：掘金号地址
本人公众号，欢迎点击关注：公众号地址
一、引言在当今人工智能领域，大型语言模型如 GPT - 3、BERT 等取得了令人瞩目的成果。这些模型在自然语言处理、图像识别等众多任务中展现出强大的能力。而在训练这些大模型的过
【读论文】AlexNet （ImageNet Classification with Deep Convolutional Neural Networks）
这是一片十年前的文章（2012年），让我们回到十年前来看看Alex小哥、Hinton大佬和他的小伙伴们是怎么设计神经网络的。
论文下载地址：
李沐老师的精读视频：
从零开始强化学习（四）——策略梯度
四. 策略梯度(Policy Gradient)
4.1 期望奖励(Expected Reward)
在强化学习中有3个组成部分：演员(actor),环境(environment)和奖励函数(reward function)
演员就是一个网络，输入状态，输出动作
环境就是一个函数，输入状态和动作，输出状态。环境是基于规则的规则，是确定不变的
奖励是在某一个状态下采取某个动作能够获得的分数。环境是
