36氪 · 商业与科技报道2026/10/26 14:25
媒体 / 作者来源
AI推理进入Token成本时代,熵旋芯智押注MRAM存内计算
2026年3月,我国日均Token调用量已超过140万亿,较2025年底增长逾40%。随着人工智能从对话问答走向智能体、编程辅助和企业级应用,大模型推理正逐渐成为一项需要持续运营的基础服务。 调用规模不断扩大,也让AI产业开始重新审视推理成本。 过去,衡量AI芯片性能往往首先关注峰值算力。但在实际推理过程中,系统既要执行大量矩阵运算,也要持续读取模型权重和KV Cache,还需要完成芯片间的数据传输与任务调度。计算资源能否充分利用、存储带宽是否充足、通信能否高效组织,共同决…