AWS Machine Learning Blog· Kevin Shabahang· 机构原始发布·· 5 天前精选
i14用原生PyTorch在AWS Trainium2上训练和部署Laplace 3B线性注意力模型
原文标题
Beyond the KV cache: Training and serving i14’s Laplace 3B linear attention model on AWS Trainium2 with native PyTorch
AI 导读
i14的Laplace 3B模型采用门控线性注意力（GLA）替代softmax注意力，推理时循环状态固定为每条序列29.5 MB，不随上下文增长。AWS团队用TorchNeuron Native将模型移植到Trainium2，保留了GLA设计和Muon优化器。单台trn2.48xlarge训练吞吐约12万token/秒，推理在1280并发序列下达到每秒11544个输出token。文章介绍了模型设计、移植中的三项修改及性能数据。
来源：AWS Machine Learning Blog · aws.amazon.com
导读与选稿说明
给出了线性注意力模型在Trainium2上的具体移植方法（GLA核重写、Muon通信优化、反向图展开）及训练/推理吞吐数据，适合关注模型架构与部署工程的读者参考。
导读由模型辅助整理，非独立核验。完整信息见原文。