跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

数据与训练

全部主题
主题资料

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

221 篇文章

最新文章

第 181–200 条 · 共 221 条
10月15日周四
  1. Hugging Face · 每日论文

    PhysClosureBench:评测AI Agent能否完成可证据支撑的物理研究

    AI 导读研究者提出 PhysClosureBench,含 50 个专家验证、目标明确的研究任务,覆盖强场、阿秒及邻近物理领域。评测用 20 项 Atomic Score 衡量局部科学成果,用 Research Closure(RC0–RC4)判断是否满足必要证据与适用范围条件。Claude-Opus-5 平均 Atomic Score 最高(6.29/10),但仅 32.7% 的尝试达到 RC4;得分≥8/10 的尝试中仍有 36.2% 未达 RC4,七款前沿模型在三次运行中均明显少于至少一次运行达到 RC4 的任务数。

    AI 选稿理由给出了衡量 AI Agent 能否把研究推进到“有证据支撑的完整结论”的基准与失败模式分析,可供做科研 Agent、自动实验与证据验证的团队直接用来诊断瓶颈。

  2. Hugging Face · 每日论文

    通过因果鲁棒性度量大语言模型的机制不确定性

    AI 导读论文提出机制不确定性概念,用支撑模型回答的内部机制稳定性刻画不确定性,并定义因果鲁棒性边距——使模型输出偏离所需的最小内部干预,通过Jlens概念转向向量实现。在三个开源模型和五个问答数据集上,错误与不确定回答的边距更小,且该边距与基于输出的不确定性方法互补;受控知识注入实验中,正确习得的事实训练后边距增大。

    AI 选稿理由提出因果鲁棒性边距这一机制层面的不确定性信号,在三个开源模型、五个问答数据集及受控知识注入实验中验证其与输出不确定性方法互补。

  3. Hugging Face · 每日论文

    SciΠvot:用248个案例基准测试科研智能体在关键节点上的科学判断力

    AI 导读研究者构建了 SciΠvot 基准,包含 248 个基于人类纠错记录的案例,来自高级研究员六个月内在 26 个科研项目、六个学科方向上对 LLM 智能体的反复干预。每个案例让模型在原始 LLM 方案与人类修正方案之间选择,且只能用纠错前的项目记录作为上下文。结果显示,在中等推理强度并提供项目记录时,模型系统性地偏好原始 LLM 方案;五个前沿模型中四个在所选案例上低于随机水平,最高准确率为 63.5%,而新手研究员为 73.4%。中等强度下,所有模型带项目记录的准确率反而低于不带记录,重新考虑也未持续提升整体准确率。

    AI 选稿理由该基准首次用真实科研纠错记录系统评测 LLM 智能体的科学判断力,揭示前沿模型在关键研究决策上仍弱于人类,为自主科研智能体的评估与改进提供了可复用的测试集和方法。

  4. Hugging Face · 每日论文

    GeoState:实现视角解耦几何状态的三维世界建模

    AI 导读研究者提出 GeoState,一种面向预测式三维世界建模的视角解耦几何表示。它利用场景 tokenizer 将多视角几何基础模型(GFM)特征聚合为解耦的场景状态,几何解码器再以相机射线查询,从而把场景状态演化与相机运动分开建模。实验显示,GeoState 在 Waymo 上优于既有三维世界模型,支持跨视角一致查询,并可零样本泛化到 KITTI 和 nuScenes,rollout 过程中无需逐帧尺度对齐。

    AI 选稿理由把相机视角变化从场景状态中剥离,解决了 GFM 特征视角依赖导致动力学难以预测的瓶颈,可提升自动驾驶等场景下三维世界模型的可预测性与跨数据集泛化能力。

  5. Hugging Face · 每日论文

    AVC-Reward:以事件为中心的音视频一致性评估与奖励模型

    AI 导读针对联合音视频生成模型出现的多事件组合、多层音频混合与非对称跨模态关系,现有评估指标多沿用早期单向简单任务,难以适用。作者提出以事件为中心的评估框架:在事件层面拆解音频与视觉事件,独立分析后用跨模态关系交叉验证,再聚合成由粗到细的三级一致性指标,涵盖全局叙事和谐、事件级时间同步与细粒度属性对齐。该指标实例化为可训练奖励模型 AVC-Reward,并构建 AVC-Benchmark。结果显示其在自动方法中与人类判断对齐最佳,可给出定位失败的可解释依据,作为在线强化学习信号还能提升联合生成模型的音视频一致性。

    AI 选稿理由为复杂音视频生成场景提供了可训练的一致性奖励模型,既能自动评判并定位不一致,也可作为强化学习信号直接改善生成质量。

  6. Hugging Face · 每日论文

    ACT3D:让视觉语言模型在3D空间中主动探索并思考

    AI 导读研究提出 ACT3D,不向视觉语言模型提供多视角图像、视频或3D表示,而是保持单张图像的原生视觉编码,将3D环境作为可交互空间,模型通过移动、转向等动作和渲染图像观察迭代推理并探索。经轨迹监督微调后,采用以最终答案正确性为主要奖励的强化学习,模型需自行学会探索策略。在六个3D基准上平均准确率53.2%,比基础Qwen模型高22个百分点,超过Gemini 3.6 Flash,且输入帧数减少50%–70%,在未见领域平均提升5.9%。

    AI 选稿理由证明仅用结果奖励的强化学习可让视觉语言模型学会何时、如何获取视觉证据,在需要大量探索的问题上相对基础模型提升16.3%,为3D空间中的具身问答与主动感知提供了可复用方法。

  7. Hugging Face · 每日论文

    Hugging Face 每日论文:SABER 基准揭示视觉语言模型属性-对象绑定缺陷,纯文本微调即可修复

    AI 导读论文提出 SABER 基准,覆盖四种图文模态组合、多种属性类型及最多十个对象的场景,评测发现 CLIP 类双编码器和基于 MLLM 的嵌入模型普遍存在属性-对象绑定失败。作者随后仅用合成属性绑定文本微调一个 MLLM 嵌入器,在没有图像监督的情况下,跨模态与图像-图像检索均有提升,在 SABER 上达到 SOTA,并改善了否定与实例检索基准。

    AI 选稿理由指出多模态检索中属性-对象绑定这一被低估的瓶颈,并证明仅用廉价可生成的合成文本监督即可显著提升跨模态检索能力,降低了为绑定任务收集配对图像的标注成本。

  8. Hugging Face · 每日论文

    Co-Evolving Acting and Forecasting for Language Agents

    AI 导读针对语言代理训练中长轨迹 rollout 成本高的问题,CoPE 提出多步动作目标监督机制,通过让策略主干网络同时学习生成动作序列和预测未来动作,实现行动与预测的协同进化。在五个基准测试中,CoPE 不仅超越 GRPO 和 RL 基线,还比 ECHO 和 GRPO 提升最高 1.9 倍和 2.0 倍的样本效率,且无需额外模型或推理开销。

    AI 选稿理由CoPE 解决了语言代理训练中长轨迹成本高和中间步骤监督利用率低的瓶颈,通过单一策略主干实现高样本效率,适用于多领域任务。

  9. Hugging Face · 每日论文

    TokenEconomizer:针对编码智能体的经验驱动黑盒成本控制

    AI 导读随着前沿编码智能体的发展,AI辅助软件工程的token成本显著增加。TokenEconomizer通过确定哪些操作微技能要注入、哪些持续无关的工具要修剪以及何时干预无效的失败循环,在Claude Code、Codex和GitHub Copilot CLI配合前沿模型的情况下,将平均token成本降低了18.4-30.9%,同时保持了可比的任务成功率。

    AI 选稿理由TokenEconomizer通过自适应黑盒成本控制,有效降低了编码智能体在现实环境中的token成本,提高了token效率。

  10. Hugging Face · 每日论文

    OS-Helix:在原生计算机代理中统一 GUI 交互与代码执行

    AI 导读研究者提出 OS-Helix,一个端到端训练的多模态计算机使用代理,将 GUI 操作与代码执行统一在同一动作空间中。实验发现简单加入代码工具会拖累 GUI 代理,因此需要混合数据训练内化路由能力。团队通过应用-工件组合生成可执行 Ubuntu 状态和可验证任务,先用 SFT 冷启动,再在真实桌面环境做在线 RL,并提出按动作步聚合权重的 Step-balanced GSPO。在 OSWorld-Verified 上,OS-Helix-27B 与 OS-Helix-35B-A3B 相对同规模 Qwen3.5 混合基线分别提升 35.0% 和 33.7%,OS-Helix-27B-RL 再提升 42.9%,成功率达 66.44%。

    AI 选稿理由把 GUI 操作和代码执行训练进同一策略,解决了此前靠提示词拼工具导致代码能力拖累 GUI 的瓶颈,并给出可验证数据生成和 RL 优化方法,可供构建桌面自动化代理的研究与工程团队参考。

  11. Hugging Face · 每日论文

    Lean4AgenticRL:通过可验证的多层次过程奖励推进智能体强化学习

    AI 导读研究团队提出Lean4AgenticRL框架,首次将多层次过程奖励统一到Lean4形式化架构中,解决了当前大型语言模型在强化学习中仅依赖高层结果奖励的问题。该框架构建了问题特定工作流系统,并使用工作流阶段归一化的GRPO算法提供多层次奖励,训练出的LAR-9B/27B模型在TerminalBench-2.1上达到77.3%准确率,比基线模型高9.89%,比同类最佳模型高5.07%。

    AI 选稿理由首次将形式化方法与多层次奖励机制结合,显著提升了智能体在复杂软件工程和终端使用任务中的强化学习效果。

  12. Hugging Face · 每日论文

    Dusting the Phantom:面向动态高斯表示的高斯分配策略

    AI 导读研究针对动态高斯表示在小而快速运动物体和高动态区域细纹理重建上的失败,指出瓶颈在于高斯原语分配的位置与时机。作者提出 Seed Injection 与 Temporal Biased Relocation 两种互补策略:前者用时序外观变化与重建误差定位欠重建区域,再通过多视角在几何合理位置初始化新高斯;后者用时间分辨优化信号引导迁移高斯的时空放置。两者都不增加高斯预算、不改底层表示,在多组动态场景数据集上提升了高动态区域的重建质量。

    AI 选稿理由不增加高斯数量即可恢复小而快速运动物体与动态区域细节,可被动态三维重建、体积视频与实时渲染方向的研究者和工程实现复用。

  13. Hugging Face · 每日论文

    ARC-SORT:自适应鲁棒补偿多目标跟踪技术

    AI 导读ARC-SORT是一种无需训练、实时运行的多目标跟踪算法,专为体育广播场景设计。该算法通过测量自身不确定性来决定行动,使用交互多模型卡尔曼滤波器为每个轨迹提供预测协方差,并将其转化为轨迹搜索区域。在SportsMOT和DanceTrack测试集上,该算法实现了81.82和62.1的HOTA分数,并在RTX 3060 GPU上以约50帧/秒的速度运行。

    AI 选稿理由ARC-SORT解决了体育视频中运动员快速移动和摄像机同时平移变焦带来的跟踪难题,通过自适应搜索区域和身份交换机制显著提高了跟踪精度。

  14. Hugging Face · 每日论文

    GPT-6-Astra 是否已实现具身智能?12 项基准与 8 种机器人实测

    AI 导读一篇论文报告对 GPT-6-Astra 在具身任务上的评估:在涵盖桌面操作、人形、移动平台与灵巧手的 12 项基准上,允许从训练集演示进行上下文学习并大幅增加执行步数后,模型取得前所未有的成绩;同时它识别出高层 System 2 推理(GPT-6-Astra)与低层 System 1 控制器(如 π0.5)的闭环协作成本高但有效。在 8 种机器人配置的真实部署中仍存在明显差距:ICL 所需机器人演示采集昂贵,物理约束下难以用更长执行时间换取更高成功率。结论是该模型大体越过了具身能力门槛,但尚未达到实用具身智能。

    AI 选稿理由给出 GPT-6-Astra 在 12 项具身基准和 8 种真实机器人配置上的一套评估方法与实测差距,指出 ICL 演示成本、执行时间与物理约束是落地瓶颈,为具身智能研究与部署提供可复用的问题清单。

  15. Hugging Face · 每日论文

    Hugging Face 每日论文:Selection Is Not Learning:自进化语言模型如何选择继承的模型

    AI 导读论文指出 R-Zero、Agent0、Skill Self-Play 等自进化循环存在“选择到更新”的缺口:看起来可学的任务未必产生有用更新,但循环仍继承全部更新。作者提出 HeirCommit,冻结更新后模型并用新评测题决定是否继承,相比随机继承把有害更新占比降低 68-83%;EvoHeir 则分离参数继承与经验继承,在四个骨干模型上数学与通用推理平均表现最佳,数学平均较最强基线 Agent0 提升 5.3%。

    AI 选稿理由为自进化语言模型提供可复用的继承筛选机制,解决任务可学但更新无益的瓶颈,降低有害更新比例并保留有效经验,可被训练自进化模型的研究与工程团队直接采用。

  16. Hugging Face · 每日论文

    论文:用KL指标预测自蒸馏中特权信息的效果

    AI 导读研究系统评估了OPSD(在策略自蒸馏)中16种特权信息配置,覆盖三个多轮Agent基准和三个不同规模、推理模式的学生模型。结果显示,PI效果取决于内容、生成来源和学生模型:信息密集轨迹和更强生成器产出的PI增益更大,思考模型受益较不一致。研究提出两个KL指标(采样token反向KL和错误步KL对比)来在训练前评估PI,比PI效用更可靠,且用错误步KL选PI优于随机选择;有效PI与GRPO结合还能超过强GRPO基线。

    AI 选稿理由提出用KL指标在训练前预测特权信息效果的方法,并在多轮Agent基准上验证优于随机选择,为OPSD中PI构建提供可复用的评估手段。

  17. Hugging Face · 每日论文

    视觉生成能否扩展统一多模态模型的知识?

    AI 导读论文提出知识迁移探测(KTP)协议,通过图像生成训练向模型注入新知识,再用纯文本问答检验其可获取性。在七类知识和三个统一多模态模型上,视觉监督能直接但非均匀地迁移到语言能力。作者随后引入文本对齐与交错图文对齐,将生成与回答通过共享知识和交错响应连接;对部分实体的引导可在无问答监督下改善其他实体的知识获取。

    AI 选稿理由提出了可复用的KTP协议来量化视觉生成训练向语言知识的迁移,并给出对齐方法提升可获取性,为多模态训练数据与架构设计提供实验依据。

  18. Latent Space

    Leash Bio 发布 Minos:将 DNA 编码文库数据转化为智能体科学推理沙盒

    AI 导读Leash Bio 的 Ian Quigley 在 Latent Space 播客中介绍了公司利用 DNA 编码文库(DEL)收集蛋白质与小分子结合数据的方法,并透露团队将多年积累的数据转化为数万个“实验室在环”模拟环境,用于智能体做可验证的科学推理。两个月后,该工作发展为 Minos,并释出完整预印本、博客和开放数据集。播客还讨论了 Kaggle 竞赛中 40 亿次测量显示模型在未见化学库上无法超越随机、ChEMBL 中“作者身份”可预测分子活性、Hermes 仅用自研数据在公开基准上与 Boltz 持平,以及智能体在 650 万分子中按预算筛选最佳结合物等发现。

    AI 选稿理由Minos 将 DEL 实验数据转为可验证的智能体科学推理环境,并开放数据集与预印本,为 AI 做化学与生物领域的强化学习提供可复现的“实验室在环”模拟基础。

10月14日周三
  1. MIT News · AI 与行业突破

    MIT等团队用机器学习修正预报误差,将两周至六周天气预报准确率翻倍

    AI 导读MIT等机构研究人员开发了一种机器学习后处理模型,通过学习历史数据修正现有预报系统的误差,在2至6周的次季节预报中将黄金标准模型的预测能力提升一倍,并首次稳定超越气候学平均值。该方法还显著提升了对洪水、寒潮等极端天气的预测能力,相关成果发表于《Nature》,并在ECMWF预报竞赛中获第一名。模型训练使用MIT超级计算集群,但运行不依赖超算。

    AI 选稿理由该方法首次让2至6周次季节预报稳定优于气候学平均,并提升极端天气预测,能源运营商、农户和应急部门可借此延长决策窗口。

  2. Hugging Face · 每日论文

    LEV:用循环决策模型实现更深的推理,2.6B 模型 JevBench 准确率从 63.2% 提升至 76.2%

    AI 导读论文提出 LEV 决策模型,通过循环重跑层而非生成 token 来加深推理。模型基于按循环方式预训练的语言模型,每个循环步骤后读取选项并联合训练所有步骤,因此同一 checkpoint 可在任意深度作答。在三个循环骨干网络上,准确率随深度提升,主要改善难题:2.6B LEV 在 JevBench 上从深度 1 的 63.2% 升至深度 4 的 76.2%。按问题自适应设定深度可节省 15%–24% 计算量,代价不到一个准确率点。在锁定测试集上,1.4B 和 3B 模型比同延迟(低于 50ms)的稠密模型和级联方案高 5.4 至 8.8 个点。

    AI 选稿理由提供了一种不生成 token 就能按需增加推理深度的决策模型方案,同一权重可自适应深度并节省 15%–24% 计算,适合低延迟分类与多选问答场景。