Hugging Face · 每日论文· 媒体 / 作者来源·精选
DAGFormer：用全局拓扑预测器规划Transformer跨层连接
原文标题
DAGFormer: Global Topology Prediction for Transformer Cross-Layer Connections
AI 导读
研究者提出 DAGFormer，在标准 Transformer 残差连接之外增加从浅层到深层的直接连接，并由与模型联合训练的拓扑预测器根据输入 token 控制每条连接的强度；与现有逐层独立设置连接的跨层路由架构不同，它一次性规划整个模型的路由。在 75M 到 1B 参数、与 OLMo-2 匹配的对比中，WikiText-2 困惑度比原版 Transformer 低 17%–25%，1B 版本用 5B token 训练即优于用 10B token 训练的原版模型；在 13 项常识、科学、阅读和数学评测任务上平均准确率高 2.0–2.5 分，指令微调后 AlpacaEval 胜率 63%–70%，结构化剪枝下六种设置中有五种退化最小。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
把跨层连接由逐层独立决策改为全局联合规划，在同等参数与算力下显著降低困惑度并提升下游任务表现，也为剪枝鲁棒性提供了一种可复用的架构设计思路。
导读由模型辅助整理，非独立核验。完整信息见原文。