跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

AI前沿·

早间

新闻范围北京时间
  1. Laplace 3B在Trainium2上跑通线性注意力

    i14的Laplace 3B用门控线性注意力把每序列推理状态固定在29.5MB,不随上下文增长。在单台trn2.48xlarge上训练约12万token/秒,推理在1280并发下合计11544输出token/秒。

    简短解读

    对比softmax注意力的KV缓存随上下文膨胀,这条路线让长时间运行的Agent记忆可预测,但压缩历史会损失检索质量,需按自有任务评估。

  2. TorchTPU让TPU成为PyTorch原生设备

    Hugging Face发布TorchTPU,无需改写成JAX或torch_xla,模型直接to("tpu")即可跑Transformers与Diffusers,支持分布式和torch.compile。TPU内核在Qwen3-30B-A3B上批大小64时解码快21.5倍。