事件记录历史事件
i14在AWS Trainium2上训练和部署Laplace 3B线性注意力模型
1 篇报道1 个报道来源5 天前更新
先了解这件事
报道摘要
i14的Laplace 3B模型采用门控线性注意力（GLA）替代softmax注意力，推理时循环状态固定为每条序列29.5 MB，不随上下文增长。AWS团队用TorchNeuron Native将模型移植到Trainium2，保留了GLA设计和Muon优化器。单台trn2.48xlarge训练吞吐约12万token/秒，推理在1280并发序列下达到每秒11544个输出token。文章介绍了模型设计、移植中的三项修改及性能数据。
摘自 AWS Machine Learning Blog
报道时间线
沿着报道，了解事件的不同侧面。
10月21日
- AWS Machine Learning Blog精选i14用原生PyTorch在AWS Trainium2上训练和部署Laplace 3B线性注意力模型
i14的Laplace 3B模型采用门控线性注意力（GLA）替代softmax注意力，推理时循环状态固定为每条序列29.5 MB，不随上下文增长。AWS团队用TorchNeuron Native将模型移植到Trainium2，保留了GLA设计和Muon优化器。单台trn2.48xlarge训练吞吐约12万token/秒，推理在1280并发序列下达到每秒11544个输出token。文章介绍了模型设计、移植中的三项修改及性能数据。