Laplace 3B在Trainium2上跑通线性注意力
i14的Laplace 3B用门控线性注意力把每序列推理状态固定在29.5MB,不随上下文增长。在单台trn2.48xlarge上训练约12万token/秒,推理在1280并发下合计11544输出token/秒。
简短解读
对比softmax注意力的KV缓存随上下文膨胀,这条路线让长时间运行的Agent记忆可预测,但压缩历史会损失检索质量,需按自有任务评估。
外观
AI前沿·
i14的Laplace 3B用门控线性注意力把每序列推理状态固定在29.5MB,不随上下文增长。在单台trn2.48xlarge上训练约12万token/秒,推理在1280并发下合计11544输出token/秒。
对比softmax注意力的KV缓存随上下文膨胀,这条路线让长时间运行的Agent记忆可预测,但压缩历史会损失检索质量,需按自有任务评估。
Hugging Face发布TorchTPU,无需改写成JAX或torch_xla,模型直接to("tpu")即可跑Transformers与Diffusers,支持分布式和torch.compile。TPU内核在Qwen3-30B-A3B上批大小64时解码快21.5倍。
NVIDIA基于160亿参数Cosmos3-H-Embodied-Nano,用Versius平台临床胆囊切除视频与运动学训练,28维动作控制,提供四步与两步蒸馏检查点,单张RTX PRO 6000可实时流式生成。