部署工程

AI 导读Specter将量化、投机解码与专家卸载结合，用轻量量化草稿模型在设备上保留高保真的专家激活模式，从而提前预测并调度后续专家数据的搬移。在单请求推理下，相比当前最优系统，TPOT平均快1.50倍、最高1.88倍，使显存受限的单卡MoE推理更可行。代码已开源。

AI 选稿理由给出量化草稿模型驱动多步专家预取的具体系统设计，并在单请求场景测得TPOT平均1.50倍、最高1.88倍加速，适用于受PCIe卸载瓶颈限制的MoE推理。

AI 导读Hugging Face发布AnyLanguageModel 1.0，作为苹果Foundation Models框架的替代方案，支持本地和云端模型切换。新增工具调用、引导生成、图像支持等功能，兼容OpenAI、Anthropic、Google等API，并提供swift-huggingface和swift-xet加速下载。本地模型支持Gemma、Qwen3.8等，适配iPhone和Mac设备。

AI 选稿理由解决了苹果开发者本地模型部署和多云提供商兼容的瓶颈，提供统一API降低开发复杂度，支持从手机到服务器的跨平台部署。

AI 导读本期主线包括：MiniMax M3.1 Flash 面向 Agent 与编码任务，称在线推理快近三倍、使用成本降 70%，权重后续开放；Inception Labs 的扩散语言模型 Mercury 3 称在多项基准上超过 GPT-6 Luna 与 Claude Haiku 5.5，生成速度超每秒 1000 token；Cloudflare 介绍不生成 token 的抽取模型 Clairic，输出带置信分数。工程侧，Meta 披露千兆瓦级 Prometheus 超算集群与“薄编排器”Agent 路由架构；PyTorch 原生后端 TorchNeuron 与 vLLM 推式 KV 传输分别面向 Trainium 和分离式推理。此外还有 Exa 3.0 搜索、OpenAI 改进 COBOL 等老旧语言编码、Anthropic 据称再谈 450 亿美元算力交易等条目。

AI 选稿理由合集内 MiniMax M3.1 Flash 的成本与速度数据、Mercury 3 的扩散模型基准结果、Clairic 的非生成式抽取方法均属可复用新事实，但均需按厂商自报口径看待。

AI 导读研究者提出 RiseHarness 框架，在模型权重不变的前提下迭代改进智能体的 harness。它聚焦同一配置下时成时败的任务，把成功轨迹与运行时监控的内部 harness 跟踪结合分析，再借 Harness Handbook 定位共享机制中的反复问题，检索其他 harness 的实现并适配，经行为检查与重复评估后以有效版本进入下一轮。论文评测了任务成功率与可靠性，并做了消融与未见基准迁移测试。

AI 选稿理由提出不改变权重的 harness 自改进方法，针对长程终端智能体跨次运行的不稳定，给出可复用的失败分析与跨框架机制迁移流程。

AI 导读PyTorch 2.15 为 Apple Silicon Mac 带来多项 MPS 性能优化：FP8 数据类型支持，MoE 模型解码速度提升 5-6.5 倍，线性层和 softmax 运算加速，视频解码内存占用从 270GB 降至 8GB，新增复杂线性代数运算支持。同时提供更精确的 MPS 可用性检查和 Python 流控制功能。

AI 选稿理由解决了 Mac 平面运行大型模型的性能瓶颈，使 MoE 模型解码速度提升 5-6.5 倍，视频生成内存占用降低 97%，为 Apple Silicon 用户提供了更高效的 AI 模型训练和推理能力。

AI 导读研究团队开发了解释性管道，发现视觉-语言-动作(VLA)模型将任务指令编码为绝对坐标程序，导致对物体位置变化的脆弱性。通过激活注入实验，模型在99.6%的案例中执行源任务的轨迹，即使面对不同场景。研究还发现不同架构对指令的权重分配差异，以及目标选择与动作生成的分离机制。团队发布了Action Atlas交互平台，包含520+训练SAEs、79个识别概念及UR10e实验结果。

AI 选稿理由提供了视觉-语言-动作模型的内部工作机制解释，揭示了其脆弱性的根本原因，并开源了可复用的分析工具与数据集。

AI 导读Hugging Face 发布 TorchTPU，将 TPU 作为 PyTorch 的原生后端，使开发者无需修改代码即可在 TPU 上运行 Transformers、Diffusers 等库。用户只需将模型发送到 'tpu' 设备即可完成部署，支持分布式训练和 torch.compile 优化。TorchTPU 还提供了 Pallas 内核和 Kernels Hub 的 TPU 内核支持，显著提升模型推理速度。

AI 选稿理由TorchTPU 解决了 PyTorch 用户在 TPU 上部署的复杂性问题，使 TPU 成为与 GPU、CPU 平等的原生设备，大幅简化了 Hugging Face 生态在 TPU 上的使用门槛。

AI 导读研究提出结构条件视频渲染器SolarRenderer，基于冻结的33B MiniMax-H3主干加两个轻量LoRA，将结构视频直接送入原生参考通道，仅用纯文本描述，无需类型标识。借助四步LoRA与结构引导分布匹配，渲染比50步采样快12.3倍；块因果变体支持实时生成768p视频。模型在13.6万片段对齐语料上训练，在分布内测试集和16种结构表示的泛化基准上均达SOTA，并泛化到姿态骨架、手绘图、点云等11种未见表示。

AI 选稿理由新增结果：SolarRenderer以冻结MiniMax-H3 33B加两个轻量LoRA实现四步结构条件渲染，速度提升12.3倍并在16种结构表示基准上验证，适用于游戏引擎与编码代理生成视频的研究场景。

AI 导读Matrix-Game 4.0将游戏执行与画面生成分离：轻量游戏引擎维护世界状态并执行交互规则，多模态编码Agent把玩家想法转为游戏代码和动态场景描述，基于自回归视频模型的渲染器再把低多边形代理画面转为高保真视觉。单张RTX5090实现480p、60FPS，按键到显示延迟112ms；单步生成稳态83FPS，峰值显存18.2GiB，RTX5080和RTX5070Ti上分别为67FPS和58FPS。代码、模型权重和低多边形游戏资产已开源。

AI 选稿理由给出可玩游戏世界的执行—渲染分离架构，并在单卡上实测延迟、帧率与显存，同时开源代码、权重和资产，为实时视频生成与游戏交互结合提供可复现基线。

AI 导读研究者提出Lafa，将连续流语言模型扩展到8B参数，采用块内双向异步流加前缀因果注意力的设计，可通过改造预训练自回归模型高效训练，并用前缀缓存和块级并行解码加速推理。在0.5B、7B、8B规模上，均以少于300亿token完成训练，指令跟随、推理和编程质量与AR相当或更好，还能蒸馏成流映射，实现一步或少步生成。利用流训练的多token预测效应做自推测解码，吞吐量达AR的2.54倍。

AI 选稿理由给出8B连续流语言模型的完整训练与推理方案，并在多token预测和自推测解码下报告了2.54倍吞吐的具体结果，属于可复用的生成建模范式进展。

AI 导读Amazon Bedrock 已在 bedrock-runtime 和 bedrock-mantle 两个端点支持 Claude 模型的结构化输出，可返回符合 JSON Schema 的响应。它通过约束解码在生成时强制 schema，并提供严格工具参数校验。支持批处理与跨区域推理；首次使用新 schema 需编译，语法缓存 24 小时。

AI 选稿理由Bedrock 为 Claude 全线模型新增结构化输出与严格工具调用，约束解码保证 JSON 合规，适用于数据抽取和 Agent 工作流。

AI 导读AWS 宣布新 SageMaker AI 客户现在只需几步即可进入完全配置的 SageMaker Studio 环境，无需设置高级 AWS 账户或输入信用卡信息。新用户可获得 100 美元免费额度，用于模型定制、训练、Studio 笔记本和端点部署，环境创建时间从 2 分钟缩短至约 20 秒。

AI 选稿理由解决了新用户创建 AWS 账户的复杂流程，使个人开发者和初创团队能在几分钟内从发现模型到部署，大幅降低了 AI 开发门槛。

AI 导读Deepgram将Nova-3语音识别模型迁移至AWS Trainium2芯片，通过PyTorch重构和内核调优，在批量转录工作负载中实现每美元处理音频量提升11-70%。该优化使Deepgram能够在单台EC2 trn2.3xlarge实例上运行8个模型副本，同时保持与原始模型相同的词错误率(WER)。

AI 选稿理由解决了语音AI大规模部署中的成本效率瓶颈，使Deepgram能以更低价格提供更高效的语音处理服务，客户在Amazon SageMaker上自托管模型也能受益。

AI 导读AWS在vLLM推理引擎中引入基于推送的NIXL连接器，通过将KV传输协调工作移出关键路径，显著降低了首令牌时间(TTFT)和每输出令牌时间(TPOT)。在Amazon EC2 P5en实例测试中，相比传统拉取模式，新技术使Qwen3-32B模型的TTFT提升最高达3倍，TPOT改善最高达30%。

AI 选稿理由解决了分布式推理中KV传输延迟瓶颈，使预填充和解码阶段可独立扩展，特别适合高请求率场景下的低延迟应用。

AI 导读AWS提出双向KV传输机制，解决多轮对话中上下文重复计算问题。通过在预填充和解码节点间双向传输KV缓存，避免重复计算历史上下文。在Amazon EC2 P5en实例测试中，Qwen3-32B模型TTFT提升1.6倍，zai-org/GLM-5-FP8模型提升3.3倍。该技术已集成到vLLM中，支持GPU和Trainium实例。

AI 选稿理由解决了多轮代理工作负载中TTFT随对话增长而恶化的瓶颈，显著提升响应速度并减少计算资源消耗。

AI 导读论文提出免训练方法SpecKCast：对扩散模型输出做二维离散余弦变换，用轻量卡尔曼滤波按噪声调度导出的频带时间坐标跟踪各系数，仅当预测不确定性超阈值时才评估Transformer。在FLUX.1-dev、Qwen-Image、Wan2.1-14B和HunyuanVideo上，该方法在加速与保真度的权衡上优于现有缓存与预测方法，最高实现6倍加速，额外内存不足0.05 GiB。

AI 选稿理由提出免训练的频域卡尔曼预测方法，在四个图像/视频扩散模型上以不足0.05 GiB额外内存实现最高6倍加速，优于现有特征缓存与外推方法。

AI 导读研究团队提出集体经验学习(CEL)范式，通过失败引导的经验检索微调(FERT)方法，让部署中的机器人共享执行经验来改进共同策略。配合容错异步训练系统(FATS)，在五个实际操作任务中，策略成功率达93.3-99.2%。96台机器人在手机包装任务中，成功率从79.2%提升至98.3%，无需额外专家纠正动作。

AI 选稿理由解决了机器人舰队规模扩大时人工监督不足的瓶颈，使机器人能通过共享经验自主学习，大幅提升任务成功率并降低对专家干预的依赖。

AI 导读Hugging Face宣布推出TorchNeuron，这是一个为AWS Trainium提供的新原生PyTorch后端。从2026年10月20日起，研究人员和开发者可通过pip安装使用。TorchNeuron支持eager模式、torch.compile和原生分布式API，使Transformers、Diffusers等库可直接在Trainium上运行，无需通过Optimum Neuron。文本生成模型支持率从46%提升至89%，训练和推理代码与在其他加速器上使用相同。

AI 选稿理由TorchNeuron简化了在AWS Trainium上部署Hugging Face模型的流程，大幅提高了模型支持率，降低了开发者使用AI芯片的门槛。

AI 导读微软CEO萨提亚·纳德拉接受独家采访，介绍搭载Nvidia RTX Spark的Surface Laptop Ultra，并阐述微软计划使Windows系统更安全地运行AI代理。

AI 选稿理由微软计划改进Windows系统安全性以更好地支持AI代理运行，这可能影响未来AI应用的开发环境。

AI 导读论文指出同一四样本查询在GPU负载升高时能耗可增至4.1倍，因此提出ATEST，把追加样本的预期收益与当前GPU成本一起纳入停止判断。默认的Online模式无需离线校准，在线学习每步能耗；在Phi-3-mini与A100的四个数据集上均未超能耗预算，GSM8K高负载下准确率60.0%且无转交，对比Calibrated的44.0%。

AI 选稿理由给出了按实时GPU能耗动态停止采样的方法与受控负载下的量化结果，实验限于Phi-3-mini、Qwen2.5-3B和两款英伟达GPU。