华为盘古 Ultra-MoE-718B-V1.1 正式开源:Pangu 超大稀疏架构的价值解码与技术剖析
华为盘古 Ultra-MoE-718B-V1.1 正式开源:Pangu 超大稀疏架构的价值解码与技术剖析
前言
华为盘古Ultra-MoE-718B-V1.1的创新开源,独特的稀疏专家架构以仅39亿激活参数实现媲美传统7180亿参数模型的性能,在MMLU、C-Eval等核心基准测试中全面领先,通过快慢思考双模式设计与强化学习闭环训练&#

