Hugging Face Blog· 机构原始发布·· 25 天前精选AI 关注评分62
AI2 发布 Olmo-core 3：面向万亿参数 MoE 的开源训练框架
原文标题
Introducing Olmo-core 3: Open, scalable training infrastructure for large MoEs
AI 导读
AI2 发布 Olmo-core 3，这是其大语言模型训练框架的重大升级，重新设计了开放的 MoE 训练系统，目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。
来源：Hugging Face Blog · huggingface.co
导读与选稿说明
原文给出 MoE 训练栈的并行策略与吞吐对比数据，可了解万亿参数 MoE 训练的开源工程取舍。
导读由模型辅助整理，非独立核验。完整信息见原文。