跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

部署工程

全部主题
主题资料

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

140 篇文章

最新文章

第 121–140 条 · 共 140 条
10月15日周四
  1. Hugging Face · 每日论文

    Skip the Compressor:编码 Agent 直接选整份文件比压缩/检索更有效

    AI 导读论文提出文件选择器 CQ2-CARE:在 300 个 SWE-rebench 问题上,用相同 token 预算时,把预算用于挑选要原样展示的整份文件,而不是压缩 token 或检索代码块。配 GPT-5.6 与 Claude Opus 5 分别解决 43.7% 和 46.7% 的问题,比三种压缩器最佳结果高 6.3 个百分点,比三种检索器最佳结果高 9.3 与 12.7 个百分点,也超过 SweRank 和 SWE-Pruner。作者分析称检索器常漏掉要改的文件,压缩器保留了文件却改写文本,导致补丁更难应用。

    AI 选稿理由指出补丁类编码 Agent 的上下文瓶颈在于选对整份文件而非压缩,且方法无需额外压缩模型即可提升可应用补丁比例,对做代码 Agent 上下文管理的人可直接复用。

  2. Hugging Face · 每日论文

    OS-Helix:在原生计算机代理中统一 GUI 交互与代码执行

    AI 导读研究者提出 OS-Helix,一个端到端训练的多模态计算机使用代理,将 GUI 操作与代码执行统一在同一动作空间中。实验发现简单加入代码工具会拖累 GUI 代理,因此需要混合数据训练内化路由能力。团队通过应用-工件组合生成可执行 Ubuntu 状态和可验证任务,先用 SFT 冷启动,再在真实桌面环境做在线 RL,并提出按动作步聚合权重的 Step-balanced GSPO。在 OSWorld-Verified 上,OS-Helix-27B 与 OS-Helix-35B-A3B 相对同规模 Qwen3.5 混合基线分别提升 35.0% 和 33.7%,OS-Helix-27B-RL 再提升 42.9%,成功率达 66.44%。

    AI 选稿理由把 GUI 操作和代码执行训练进同一策略,解决了此前靠提示词拼工具导致代码能力拖累 GUI 的瓶颈,并给出可验证数据生成和 RL 优化方法,可供构建桌面自动化代理的研究与工程团队参考。

  3. TLDR AI · 前沿简报

    TLDR AI 2026-10-15:Grok Voice 3.0 发布、Google 自改进框架 Harness² 与路由器成 AI 新原语

    AI 导读本期主线有三:xAI 发布语音到语音模型 Grok Voice 3.0,延迟低于 1 秒并改善客服表现;Google Research 开源 Harness²,让智能体在不改模型权重的前提下迭代改进提示词、工具、记忆与编排,其 Deep Review 系统可对复杂技术文档做严格技术核查;观点部分讨论路由器成为 AI 栈新原语、开源专才模型与前沿系统在路由后共存。此外 Anthropic 为 Claude 托管智能体与 SDK 加入 OpenTelemetry 追踪,vLLM 推出基于推送的 KV 传输优化 TTFT/TPOT,Netflix 分享大规模 GPU 训练容错实践,Ling-3.1-flash 以 5600 亿总参数、250 亿激活参数和百万 token 上下文开源。

    AI 选稿理由Harness² 让智能体通过改进外部框架而非重训权重持续自我提升,并跨任务迁移经验,为智能体工程提供了可复用的自改进路径;Deep Review 可用于论文与技术文档的自动核查,Grok Voice 3.0 的亚秒级语音交互则降低了实时客服等场景的落地门槛。

10月14日周三
  1. AWS Machine Learning Blog77

    使用Amazon Bedrock AgentCore生成演示文稿

    AI 导读使用Amazon Bedrock AgentCore构建的AI代理系统可将演示文稿生成时间从手动创建的数小时缩短到90秒以内。该系统使用监督代理路由请求到专门工具,结合RAG管道确保内容基于源文档,并通过Amazon Bedrock Guardrails验证内容合规性。解决方案包含公开代码库,支持企业集成和自定义配置。

    AI 选稿理由原文提供了完整的实现方案和性能数据,读者可以据此评估类似AI代理系统的实用性和成本效益。

  2. AWS Machine Learning Blog66

    使用Amazon SageMaker JumpStart部署和评估模型

    AI 导读AWS SageMaker JumpStart提供预训练模型目录,支持一键部署和性能测试。2026年新增模型发现优化和Hugging Face集成功能,用户可通过UI或Python SDK完成模型部署、性能测试和资源清理。

    AI 选稿理由原文提供了完整的模型部署和评估流程,读者可直接迁移到实际工作中。

  3. Hugging Face · 每日论文

    LEV:用循环决策模型实现更深的推理,2.6B 模型 JevBench 准确率从 63.2% 提升至 76.2%

    AI 导读论文提出 LEV 决策模型,通过循环重跑层而非生成 token 来加深推理。模型基于按循环方式预训练的语言模型,每个循环步骤后读取选项并联合训练所有步骤,因此同一 checkpoint 可在任意深度作答。在三个循环骨干网络上,准确率随深度提升,主要改善难题:2.6B LEV 在 JevBench 上从深度 1 的 63.2% 升至深度 4 的 76.2%。按问题自适应设定深度可节省 15%–24% 计算量,代价不到一个准确率点。在锁定测试集上,1.4B 和 3B 模型比同延迟(低于 50ms)的稠密模型和级联方案高 5.4 至 8.8 个点。

    AI 选稿理由提供了一种不生成 token 就能按需增加推理深度的决策模型方案,同一权重可自适应深度并节省 15%–24% 计算,适合低延迟分类与多选问答场景。

  4. TLDR AI · 前沿简报

    TLDR AI 2026-10-14:Gemini 4 Argon 上云、Anthropic 多智能体工作流、NVIDIA Run:ai 开源

    AI 导读本期头条包括:OpenAI 因行政会议室发现隐藏录音设备而报警,一名员工被解雇并逮捕;Google 将 Gemini 4 Argon 作为前沿模型上线 Google Cloud,面向软件开发、金融、法律与网络安全等长上下文多步任务。深度分析讨论 AI 意识争论,以及 Anthropic 动态工作流如何让 Claude 编写程序协调多个智能体,演示显示细节更丰富但成本远高于单智能体。工程方面,24B 参数、2B 激活的推理模型 LFM2.5-24B-A2B 发布并在 Hugging Face 提供,NVIDIA 将 Run:ai 平台整体开源,Physical Intelligence 通过 Pi API 开放机器人基础模型微调与推理,OpenCode 2.0 更新。其他消息包括 Character.ai 申请 Chapter 11 破产、Ramp 推出 AI 工作空间 Glass、GPT 6.1 Sol 默认上下文窗口提升至 500k。

    AI 选稿理由Gemini 4 Argon 作为企业级前沿模型上线 Google Cloud,NVIDIA Run:ai 整体开源为平台团队提供 GPU 利用率与共享 AI 基础设施优化工具,Physical Intelligence 开放 Pi API 让机器人基础模型微调与推理可直接托管调用。

  5. Hugging Face · 每日论文

    BizBench:面向支付业务的长周期Agent基准,Claude Opus 5与GPT-6 Sol严格成功率仅64.0%和61.3%

    AI 导读研究者提出BizBench,一个基于某头部支付公司真实业务流程的多轮基准,用于评测长周期Agent的中间执行有效性。其可执行环境整合789份知识文档与601个可发现业务工具,包含50个涉及资源约束、时间依赖、既有承诺及冲突/过时指引的任务,通过确定性检查同时评估目标达成与执行合法性。实验显示前沿模型仍有明显短板:Claude Opus 5和GPT-6 Sol严格成功率仅64.0%和61.3%;Qwen3.8-27B目标达成率42.0%但严格成功率降至32.7%;DeepSeek-V4.1-Flash平均每次运行191.3次工具调用,比参考执行多约70%。

    AI 选稿理由提供了可执行的长周期Agent评测环境,把评估从只看最终结果推进到检查中间步骤是否合规,可用于支付等高风险业务场景下Agent可靠性的测试与改进。

  6. Hugging Face · 每日论文

    ReaDy:用混合线性注意力循环状态做推测解码草稿

    AI 导读论文提出 ReaDy,首个利用混合线性注意力(HLA)模型循环状态辅助推测解码的方法:每个草稿位置通过可学习查询从目标模型已提交的循环状态中检索位置相关上下文,轻量状态读取器以残差方式注入草稿表示,并通过低秩读取与融合算子控制开销。在数学、代码生成、对话等七个基准上,ReaDy 在单张 NVIDIA B200 上配合 Qwen3.8-27B 平均取得 3.16 倍解码加速,吞吐较 DSpark 提升 7.97%,接受长度提升 8.50%。代码已开源。

    AI 选稿理由把混合线性注意力模型的循环状态用作推测解码的位置相关上下文,在多个基准上把草稿吞吐和接受长度同时提升,可直接用于长文本自回归推理的加速部署。

  7. Hugging Face · 每日论文

    Speculative Sampling:让交互式视频生成用大双向窗口实现低延迟

    AI 导读论文发现更大的双向块能提升视频质量并更好利用 GPU 并行,但传统交互式视频生成依赖小块以降低延迟。作者提出 Speculative Sampling:通过在建模窗口后附加噪声潜变量作填充,并缓存预测结果在条件不变时复用,兼顾大窗口的建模能力与小窗口的低延迟交互。预测增量交付,未提交的未来部分仍可替换。延迟分析显示该方法消除了块边界带来的等待时间下界,使双向窗口大小成为可联合优化视觉质量与采样时间的决策变量,而不再是低延迟交互的硬约束。

    AI 选稿理由提出一种无需复杂流式后训练即可在交互式流式系统中部署大型双向视频生成模型的采样策略,消除了块边界等待下界,让窗口大小可同时优化画质与延迟,适合做实时视频生成服务与系统的团队参考。

  8. Latent Space

    Dyna-2:百万小时人类视频预训练的世界行动模型,实现24小时叠餐巾99.4%成功率

    AI 导读Dyna Robotics 联合创始人 Jason Ma 在 Latent Space 播客中介绍了 Dyna-2 世界行动模型及物理机器人代理 Dyna-2.1。该模型基于超100万小时人类视频预训练,结合未来视频预测与机器人动作输出,宣称在四个数量级上呈现人类数据扩展规律。实际部署中,机器人连续24小时折叠餐厅餐巾成功率达99.4%,包括推倒整摞餐巾后的恢复;在鼎泰丰每天折叠数千张餐巾。机器人可从低至45分钟的演示中学习新任务,公司自研轮式半人形硬件以支持端侧推理与模型蒸馏。

    AI 选稿理由展示了世界行动模型在真实商业场景实现长时程自主作业的具体能力——45分钟演示即可学习新任务、24小时叠餐巾99.4%成功率,为通用机器人从演示走向规模化部署提供了可复用的数据扩展与端侧推理路径。

10月13日周二
  1. Hugging Face · 每日论文

    Game2Real-Bench:玩具游戏能否揭示并迁移到真实世界视觉推理?

    AI 导读研究者发布 Game2Real-Bench 基准,覆盖细粒度感知、空间推理、约束推理与序列规划四类能力,包含 1000 个可执行验证的程序化游戏样本和 400 个按推理需求对齐的真实样本。评测 25 个 VLM 后发现游戏与真实任务表现高度一致(相关系数 0.935);one-shot 游戏中,部分模型的约束推理提升,但细粒度感知下降。团队还构建了含约 24K 样本、18 类任务、65 个 QA 家族的 Game2Real-Dataset。

    AI 选稿理由该基准首次系统验证游戏任务与真实视觉推理的对应关系,并给出可执行验证的数据集,可供 VLM 评测与训练选择数据来源时参考。

  2. TLDR AI · 前沿简报

    TLDR AI 早报:微软 Maia 300 芯片、Meta Muse Wonder 模型与 Anthropic 自我复制研究

    AI 导读本期头条是微软发布第三代自研 AI 加速器 Maia 300,称每兆瓦性能提升 40%,计划 2027 年起大规模部署;Meta 发布首批前沿级模型 Muse Wonder 与 Wonder Full,强化编码、基准表现和记忆用户信息能力。深度内容涉及 AI 生成软件的责任归属、Anthropic 测试模型自主复制能力、以及昂贵闭环任务为何难以训练。研究方面介绍了以不到 1% 预训练成本改造 Transformer 架构的 Priming 技术,以及 GLM-Legal 在 Harvey LAB 上 19.2% 全通过率。快讯还提到 Claude Opus 5.5 灰度测试、智谱 GLM-5.3-Highspeed 灰度上线约 490 tokens/s 等。

    AI 选稿理由微软 Maia 300 给出每兆瓦性能提升 40% 并计划 2027 年大规模部署,Meta 首批前沿模型与 Anthropic 自我复制研究同期刊出,均属可能改变算力成本与模型能力边界的关键动向。

10月2日周五
10月1日周四
9月29日周二
  1. AWS Machine Learning Blog62

    xAI 的 Grok 4.7 上线 Amazon Bedrock

    AI 导读xAI 的 Grok 4.7 已在 Amazon Bedrock 上线,提供 500K token 上下文窗口和 low、medium、high、xhigh 四档可配置推理强度,通过 bedrock-runtime 端点的跨区域推理配置文件提供服务,支持 Responses、Chat Completions 和 Converse API。

    AI 选稿理由文章给出 Grok 4.7 在 Bedrock 上的接入方式、四档推理强度与跨区域路由选择,便于评估长任务智能体的成本与延迟取舍。

  2. AWS Machine Learning Blog62

    AWS 上线 Claude Sonnet 5.5,面向编码与知识工作

    AI 导读AWS 宣布 Claude Sonnet 5.5 在 Amazon Bedrock 和 Claude Platform on AWS 上线,定位为更高效、单任务成本更低的 Sonnet 模型,适合聚焦的编码与知识工作。

    AI 选稿理由原文给出 Sonnet 5.5 在 Amazon Bedrock 上的能力定位与调用方式,便于判断它与 Opus 5.5 的分工。