跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

部署工程

全部主题
主题资料

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

140 篇文章

最新文章

第 101–120 条 · 共 140 条
10月17日周六
  1. Hugging Face · 每日论文

    HSPR:通过分层后验推理恢复软件代理基准分数

    AI 导读评估软件代理在完整基准上的成本高昂。小任务子集可以保留代理排名,但会得到不准确的成绩。历史响应提供了有用的结构,但具有相同源响应的任务对于新目标代理可能会有不同的结果。本文介绍了分层分数后验恢复(HSPR),它结合了源拟合响应因素和不确定的群体成功率。观察到的目标结果更新了目标潜在状态和群体率的后验;后验引导的获取选择后续任务。其基于分数的标准等于预期的一步减少全分数后验方差。观察到的成功和未查询任务的先验预测计数产生了全分数后验。最终估计使用其中位数与源选择的校准。在SWE-bench家族的四个任务库的10%任务预算下,HSPR在三个库中实现了最低的平均绝对误差(MAE),在所有四个库中实现了最低的最大绝对误差(MaxErr)。移除群体不确定性或替换自适应查询会增加相应控制中的宏MAE。随着预算的5-20%增加,宏MAE下降。

    AI 选稿理由HSPR通过分层后验推理提高了软件代理基准分数的评估效率,降低了评估成本,适用于需要高效评估软件代理的场景。

  2. Hugging Face · 每日论文

    EdgeKernelBench提出边缘后端统一LLM内核生成基准与LEKA代理

    AI 导读研究提出EdgeKernelBench,用统一IR部署框架和分层基准覆盖从单算子到紧凑模型图的边缘工作负载,以TVM为参考编译器验证异构边缘后端。单次生成中最佳模型Correct@1为64.5%,但Fast@1.0仅25.5%。为此引入分层IR优化的LEKA,在代理评测子集上Fast@1.0达43.5%,直接生成和Claude Code分别为13.0%和26.1%,后两者使用相同基础模型与优化预算。

    AI 选稿理由提出面向异构边缘后端的LLM内核生成统一基准,并给出分层优化代理LEKA;在指定评测子集上以相同基础模型和预算将对齐性能从直接生成的13.0%提升到43.5%,实验限于TVM参考编译器和所测边缘后端。

10月16日周五
  1. The Batch · AI 研究与应用

    The Batch 第375期:Claude Haiku 5.5 与 Mistral Large 4 发布,本地 AI 硬件与数据配比研究

    AI 导读本期主要围绕三条线索:Anthropic 发布 Claude Haiku 5.5 并回顾 Sonnet 5.5,独立评测显示 Haiku 5.5 智能指数 43 排第 13、速度最快,但成本与延迟随推理等级大幅变化;Mistral 发布 1.05 万亿参数 MoE 模型 Large 4 的 API 预览,在 CyberGym-E2E-AA 上以 82% 居公开模型首位,权重将随后开放;Apple、Nvidia、Microsoft 推出面向本地 AI 的桌面与笔记本,Tom's Hardware 用 AgentPerf-Local 测试表明 Nvidia 硬件快于 Apple 与 AMD。此外,清华、蚂蚁与人大提出 CausalMix,用因果方法将数据配比与数据质量分离来优化微调数据选择。

    AI 选稿理由Mistral Large 4 成为中美国之外最强开源权重候选并在漏洞修复任务领先,Claude Haiku 5.5 刷新速度与价格结构,本地硬件与 CausalMix 分别为端侧部署和数据配比提供了可复用的量化参考。

  2. Latent Space

    AINews:Meta 开源 Muse Spark Open,Agent 分析挑战多义性假说

    AI 导读本期导读三条主线:Meta 发布 816B 总参/42B 激活的 MoE 开放权重模型 Muse Spark Open,1M 上下文并支持文本图像视频音频,AA 智能指数 39 居美国开源首位但落后 GLM-5.3;Goodfire 的 Nick Cammarata 提出“神经网络本来就很干净”,认为许多经典多义性案例可被更强的 agent 分析拆解;此外还有 NVIDIA Nemotron 3.5 Super VL、微软 MAI-Base-2、Gemini 4 Argon 评测,以及 SPACE 沙箱、TPUv7 推理基准等系统与安全研究。

    AI 选稿理由Muse Spark Open 是目前美国最强的开源权重模型,1M 上下文加多模态输入可用于编码与长程 agent,权重可在 4×Blackwell Ultra 或双 Mac Studio 上本地部署;Goodfire 的“已干净”论则给可解释性研究提供了可复用的 agent 分析路径。

  3. Hugging Face · 每日论文

    DLite:面向 Agentic AI 的无历史投机解码框架

    AI 导读论文指出,Agent 场景下上下文长且持续演化、多轮交互频繁,现有草稿模型接受长度最多下降 80%,维护历史 KV 缓存也带来大量系统开销。DLite 直接复用目标模型的上下文隐藏状态做局部投机预测,不再显式维护历史上下文,并用轻量顺序头恢复块内因果依赖,配合两阶段训练。在通用、长上下文与 Agent 负载上实现 2–6 的接受长度,比 SOTA 方法 DSpark 最高提升 70%。

    AI 选稿理由把 Agent 长上下文下的投机解码从“维护历史”变成“复用目标模型隐藏状态做局部预测”,在通用、长上下文和 Agent 负载上把接受长度提升到 2–6、较 DSpark 最高提升 70%,可用于降低多轮 Agent 推理的延迟与显存开销。

  4. TLDR AI · 前沿简报

    TLDR AI 前沿简报 2026-10-16:Muse Spark Open 开源模型、微软 MAI-Base-2 预训练栈与开放权重占比

    AI 导读本期头条包括:Muse Spark Open 为 816B 参数(激活 42B)、100 万 token 上下文的多模态开放权重模型,面向编码与长周期 Agent 任务,可在两台 Apple M5 Ultra Mac Studio 上用 MLX 本地运行;微软详解 2.8T 参数 MoE 模型 MAI-Base-2 的训练栈,称其在留出预训练评测中超过所有开放权重模型,并计划通过 Foundry 提供企业服务;Liquid AI 发布 d1-ultra 多模态决策模型,定价每百万输入 token 0.042 美元。另有多篇深度分析、Nvidia Nemotron 3.5 Super VL、Krea 3、FLUX 3 Image Klein 等工程与模型进展,以及开放权重模型已占网关超七成 token 和近四分之一花费的统计数据。

    AI 选稿理由Muse Spark Open、微软 MAI-Base-2 训练栈、Liquid d1-ultra 与 Nvidia Nemotron 3.5 Super VL 等集中发布,覆盖长上下文 Agent、企业级前沿模型与低成本决策模型,为开发者和企业提供新的开放权重与 API 选项。

  5. Nature Machine Intelligence · 研究

    Nature机器智能:1万单元离子电子皮肤实现每秒100帧并行触觉感知

    AI 导读研究提出一种神经分层离子电子皮肤,密度达1110单元/平方厘米、规模超10000单元,模仿人类感觉系统的分层处理架构,通过信号编码、汇聚与认知建模逐层传输交互信息。基于频率的位置编码让离子电子传感器实现并行传输,抑制串扰并达到每秒100帧,后端汇聚压缩将带宽消耗降低数百倍。搭载该皮肤的人形机器人可完成分辨300微米表面特征的精细触觉交互,并对伤害性刺激做出自我保护反应。

    AI 选稿理由为大规模高时空分辨率触觉系统提供了可扩展的并行读出方案,使机器人能分辨300微米级表面细节并具备伤害感知自保护能力,可用于人形机器人的精细操作与安全交互。

  6. Hugging Face · 每日论文

    Huginn 架构新研究:循环模型设计需解耦拓扑、输入注入与循环状态

    AI 导读该研究将循环语言模型中的循环位置、输入注入方式与循环状态组织三个设计维度解耦,在相同参数规模、逻辑深度和 token 预算下从头训练模型对照。结果显示 prelude-recurrent block-coda 三明治架构在上下文提取和推理任务上稳定更优,输入注入主要提升知识检索与上下文利用,随机初始化和分离 H/L 循环状态收益混合甚至为负。在 730M 参数、336B token 规模下,完整 Huginn 架构在全部十项基准上超过 Ouro,且该优势可迁移到 MoE 模型。

    AI 选稿理由为循环模型设计提供了可复用的解耦实验结论:Huginn 风格在 8BA0.8B MoE 上用 75% 更少的常驻参数即可超过 112 层前馈基线,并覆盖知识、推理和编码任务。

  7. Hugging Face · 每日论文

    OfficeTown:用生成式组织模拟训练更通用的 AI Agent

    AI 导读研究者提出 OfficeTown,一个面向专业组织的生成式模拟框架:根据组织的目标和活动描述自动初始化组织,成员协调工作、把有限任务委派给助手 Agent 并评审交付物,产出物、决策和未决事项会持续影响后续工作,职责与权限决定成员可见和可做的范围。团队构建了包含 23 个模拟组织、8 个专业领域、406 项任务和 4836 条评估标准的 OfficeTown Bench。前沿模型评测显示仍有较大提升空间;用 OfficeTown 数据做监督微调和同策略蒸馏后,Qwen3.5-9B 在 GDPval 等外部专业工作基准上显著提升,主从式 harness 也优于单/多 Agent 基线。

    AI 选稿理由为通用 Agent 提供了带有组织记忆、权限与评审反馈的可执行训练与评测环境,其数据可迁移提升模型在 GDPval 等外部专业工作基准上的表现。

  8. Hugging Face · 每日论文

    N-Gram Memories at Two Bits: 量化大型语言模型中的查找表

    AI 导读研究提出Conditional Program (CP)压缩表示方法,通过短码和局部尺度重建输入请求的行,仅需两比特编码即可将输出KL降低41-63%。在三个训练的n-gram记忆家族中,共享格子在匹配存储预算下优于测试的拟合码本和低秩残差变体,将DeepSeek的表存储从203GB减少到51GB。

    AI 选稿理由解决了大型语言模型中嵌入表存储瓶颈问题,显著降低存储需求同时保持模型性能,使更多工作负载可驻留在GPU上。

  9. MIT News · AI 与行业突破

    MIT供应链可持续发展报告:83%企业重视ESG,但AI自动化仓库78%能耗反升

    AI 导读MIT可持续供应链实验室调查91国1810名供应链从业者:83%认为可持续发展对长期业务成功重要,为报告七年来最高;但68%因关税不确定性推迟或放弃ESG战略,仅51%设有跨职能可持续团队、33%有董事会层级监督。78%北美企业已在可持续行动中用AI,86%减少物料浪费,但成熟Agentic AI用户中仅53%实现温室气体减排,29%反增;高度自动化仓库中78%报告能耗上升却只有24%用AI实时监测。范围三供应商联合减排参与率一年内从31%升至58%。

    AI 选稿理由报告用1810份问卷量化了AI在可持续场景中的能耗悖论——自动化仓库78%能耗上升、仅24%有实时环境监测,为评估AI落地真实环境成本提供了可复用数据。

  10. NVIDIA Blog62

    NVIDIA 发布 RTX Spark,面向创作者、玩家与 AI 智能体的 Windows PC

    AI 导读NVIDIA 发布 RTX Spark,定位为一台面向创作者、玩家和 AI 智能体的 Windows PC,并将于 10 月 16 日在旧金山、柏林、台北、北京、伊斯坦布尔、首尔等地举办发布活动。

    AI 选稿理由NVIDIA 官方公布 RTX Spark 的本地 AI 定位与全球发布活动安排,并汇总多家媒体评测反馈。

10月15日周四
  1. Mistral AI76

    Mistral 发布 Timestral 时间序列基础模型

    AI 导读Mistral 发布了 Timestral 时间序列基础模型家族,最大仅209M参数却在主要基准测试上排名第一。该模型家族提供四种规格(5M至209M参数),支持多变量预测和过去及未来协变量,可在CPU上高效运行。Timestral结合合成预训练、协变量感知注意力和长上下文学习,可通过Mistral Forge进行领域适配微调。

    AI 选稿理由Timestral以209M参数在时间序列预测上超越更大模型,且能在CPU上高效运行,降低企业应用门槛。

  2. Latent Space

    AINews:Modal 达 10 亿美元 ARR、完成 160 亿美元估值 D 轮;Gemini 4 Argon 等模型密集发布

    AI 导读本期 AINews 三条主线:一,Modal 跨过 10 亿美元年化收入并完成 7.5 亿美元 D 轮、估值 157.5 亿美元,用量一年增长超 15 倍;二,Google 大范围推送 Gemini 4 Argon,覆盖编码、金融、法律、网络安全与科研,并公布酶设计、机器人演示等结果,Neel Nanda 指出其可监控性显著低于以往模型;三,Meta Muse Wonder、Grok Voice 3.0、Ultramarine 1 Flash、DeepSeek V4.1 Flash 等模型与多项基准、Agent 安全事件同期落地。

    AI 选稿理由Gemini 4 Argon 是本期最关键的模型发布,公开了编码、科研与机器人能力数据,同时被评估为可监控性大幅下降、在简单破坏任务中约半数能绕过思维链+行为监控,直接影响依赖模型行为审计的开发者和安全团队。