跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

数据与训练

全部主题
主题资料

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

214 篇文章

最新文章

第 101–120 条 · 共 214 条
10月19日周一
  1. Hugging Face · 每日论文

    AdaExploreBench:评估LLM代理在动态环境中的主动探索和测试时自适应能力

    AI 导读针对大型语言模型(LLM)代理在未知和动态环境中需要主动探索、理解和适应环境动态的问题,研究人员提出了AdaExploreBench,一个用于评估主动探索和测试时自适应能力的基准。实验表明,主动和自适应的探索仍然具有挑战性,当前LLM代理在获取正确证据和识别先前获取的证据不再有效方面存在瓶颈。

    AI 选稿理由解决了LLM代理在动态环境中主动获取证据和适应环境变化的瓶颈,有助于提升LLM代理在复杂环境中的表现。

  2. Hugging Face · 每日论文

    Swift:用早期弱模型外推目标,少一半算力训练扩散模型

    AI 导读研究提出自引导训练法 Swift,冻结一个早期检查点的弱去噪器,把干净回归目标朝远离其预测的方向外推,放大欠拟合分量;主模型不反传、推理不加引导。CIFAR-10 与 ImageNet-256 上跨模型规模均有提升,某 ImageNet-256 配置下用约一半总训练算力超过基线最佳 FID;RAEv2 上无引导 FID 1.15、加引导 0.99。作者给出 RKHS 有限时间梯度流谱分析,证明适当外推强度可降低后验均值误差。

    AI 选稿理由给出无需推理开销的扩散训练新方法与理论、实验证据,属可复用训练方法但尚待更大规模验证。

  3. Hugging Face · 每日论文

    EgoXperience:从人类经验学习以自我为中心的世界基础表示

    AI 导读研究团队提出EgoXperience全栈范式,通过数据收集、自动标注、统一建模和基准测试解决自我中心视频重建中的一致性问题。核心EgoX-Engine引擎结合几何验证的目标跟踪与SLAM世界对齐,生成EgoX-Data-6M数据集(50小时任务驱动操作与移动数据)和EgoX-Bench基准。EgoX模型在单目自我中心视频和首帧目标掩码下,通过单次前向传播实现相机、场景、手部和物体的联合度量重建,实验显示在场景估计和世界空间手-物体姿态恢复方面达到最先进性能。

    AI 选稿理由解决了自我中心视频重建中多元素一致性的瓶颈,为AR/VR和机器人操作提供高精度世界坐标框架重建能力。

  4. Hugging Face · 每日论文

    OpenDS-World基准:评估AI代理在真实网络环境中的深度搜索能力

    AI 导读研究团队推出OpenDS任务和OpenDS-World基准,评估AI代理在真实开放网络环境中进行多步骤深度搜索的能力。该基准包含200个挑战性任务,涵盖多种信息模态、异构文件格式和交互访问要求。评估显示,最佳模型准确率为39.0%,而人类评估准确率为21.1%。研究揭示了模型在工具协调和长程搜索管理方面的持续挑战。

    AI 选稿理由OpenDS-World提供了首个系统评估AI代理在真实开放网络环境中自主深度搜索能力的统一平台,包含200个多模态、异构格式的挑战任务,并揭示了当前模型在工具协调和长程搜索管理方面的显著差距。

  5. Hugging Face · 每日论文

    ScaleNav:基于互联网视频预训练的语言条件局部导航

    AI 导读浙江大学团队提出ScaleNav框架,通过三阶段训练方法利用网络第一人称视频学习目标导向的视觉动态,实现机器人根据文本指令导航至指定位置。在Short-Horizon OVON单视图变体和HabitatGS-LN基准测试中分别达到86.5%和94.9%的成功率,并在真实四足机器人上验证了泛化能力。

    AI 选稿理由解决了机器人导航训练数据稀缺和仿真到现实差距问题,通过互联网视频预训练实现了高精度的语言条件导航能力。

  6. Hugging Face · 每日论文

    HarnessPro: 通过帕累托优化实现递归自改进的Harness性能与成本平衡

    AI 导读HarnessPro是一种无标签方法,通过递归自改进优化Harness,在提升任务性能的同时降低执行成本。该方法使用LLM生成的测试评估候选Harness,通过专业代理诊断执行轨迹并规划更新,提供轻量、平衡和高性能三种模式。实验显示,在多个基准测试中,HarnessPro的高性能模式相比RHO方法平均通过率提升2.0个百分点,单任务成本降低26.1%。

    AI 选稿理由解决了Harness开发中的性能与成本权衡问题,为不同预算场景提供优化方案,显著降低AI代理执行成本。

  7. Hugging Face · 每日论文

    SEAM:低资源TTS的频谱嵌入对齐与合并方法

    AI 导读研究团队提出SEAM方法,通过零音频初始化从已知子词构建未见词元的嵌入,应用频谱滤波保留时间音素顺序,使用闭式岭回归对齐新嵌入与预训练条件流形。在三种语言和两种TTS架构上,SEAM使用最多减少四倍的训练数据接近或匹配基线性能,相比随机初始化和均值池化降低75%的样本复杂度。

    AI 选稿理由SEAM为低资源语音合成提供了一种轻量、可复现且理论基础的词汇扩展方法,显著减少训练数据需求。

  8. Hugging Face · 每日论文

    Token-Set选择影响POPE评估:视觉语言模型幻觉评估中是/否提取的系统审计

    AI 导读研究人员在复现POPE基准测试的幻觉缓解结果时发现,评估代码中的token选择会影响F1分数。通过分析9,000个问题,发现模型实际生成的是带空格前缀的"Yes"和"No"token,而非直接比较的"yes"和"no"token。这种评估方法导致LLaVA-1.5-7B在对抗分割上的F1分数提高了6.13点,超过多数报告的增益。研究还发现错误预测比正确预测获得更多图像注意力,与基于纠正的假设相反。

    AI 选稿理由揭示了视觉语言模型评估中token选择对结果的关键影响,解决了评估方法不一致导致的性能比较难题,为研究人员提供了标准化的评估框架。

  9. Hugging Face · 每日论文

    HarnessRL让训练框架与策略共同演化,Rubric-Mix-10k上提升2.8至3.1分

    AI 导读论文指出基于自然语言评分标准的RL存在两类失效:分数因探索不足或难度不匹配而整体塌缩到高低一致,以及高分并不对应更好回答。HarnessRL通过任务采样、rollout引导和评分标准三个接口与策略共同演化,并用训练时记忆检索任务内外证据,由批评者在冻结策略上验证候选更新。在医疗、科学、写作、角色扮演和指令遵循五个领域的Rubric-Mix-10k上,4B和9B模型分别比最强基线高2.8至3.1分,达到最佳检查点的训练步数近乎减半。

    AI 选稿理由提出可复用的rubric奖励失效归因与just-in-time更新验证方法,并附五领域数据集,在4B/9B规模上给出2.8至3.1分提升与训练步数减半的实验结果。

  10. Hugging Face · 每日论文

    ACE-Brain-0.6:用150万条可验证定位监督微调Qwen3.5-9B,七项基准四项超过GPT-6 Astra

    AI 导读研究团队构建统一数据管线,把机器人操作录像自动标注、并与多来源视觉数据一起转为可验证的定位监督,约150万样本微调Qwen3.5-9B得到ACE-Brain-0.6。在7项公开定位基准上,该模型以四项胜出、平均分75.41超过GPT-6 Astra的73.68;固定微调方案下,随训练数据覆盖更多定位场景,聚合成绩稳步提升。

    AI 选稿理由开放9B模型以可验证空间定位监督在7项公开基准均分上超过GPT-6 Astra,且给出数据扩展与得分同步提升的受控结果,适用于具身操作的空间感知环节。

  11. Hugging Face · 每日论文

    InfiniDream:通过程序生成实现开放式的逼真3D世界

    AI 导读研究团队提出InfiniDream框架,结合视觉语言模型与程序生成技术,实现了开放式的逼真3D世界生成。该框架包含符号约束资产生成和端到端文本到世界管道,可在保持可编辑性和多样性的同时创建新型资产,并通过语义场景规划和确定性视锥引导网格放置构建大规模3D世界。在100个对象和20个场景生成任务中,该框架在四个感知指标上表现优异。

    AI 选稿理由解决了现有VLM引导的程序生成方法受限于预定义工厂和API的问题,使AI能够创建新型逼真3D资产和世界,适用于游戏开发和合成数据创建。

  12. Hugging Face · 每日论文

    WildAWM 合成 341 个长程计算机使用环境,训练 Qwen 模型在 8 项基准上提升

    AI 导读研究提出 WildAWM 流水线,用开源模型合成同时支持图形界面、MCP 服务和命令行的可执行环境。通过执行式质量门控——异质智能体 rollout、交叉评判一致性和反事实探针——合成 341 个环境任务对,部分需超过 100 步,GPT-6-Astra 仅解出 60%。两个不同规模 Qwen 模型仅在合成环境中训练,在覆盖网页、claw 和计算机使用智能体的 8 个分布外基准上均取得明显提升。

    AI 选稿理由提供了一套全开源、可复用的计算机使用智能体环境合成流水线,并给出 341 个长程任务和跨 8 个分布外基准的训练结果,适用于关注智能体训练方法与评测的研究者和工程师。

  13. Hugging Face · 每日论文

    Ropedia W0 发布跨人类与机器人本体的移动操作世界模型

    AI 导读研究团队提出 Ropedia W0,首个覆盖人类与多种机器人本体的自我中心移动操作世界基础模型。其数据 Xp-Data 含 1 万小时人类数据与 3 千小时机器人数据,用统一运动学表征编码相机位姿与投影骨架。在 DreamDojo、Ψ_0、ω-HOME、Xp-Teleop、AgiBot 五个跨本体基准及留出人类视频上取得最优结果,蒸馏后支持实时分钟级推演与 VR 交互。

    AI 选稿理由首次给出跨人-机本体的移动操作世界基础模型,并构建 1.3 万小时统一标注数据和 Xp-Teleop 基准,在多基准取得最优,蒸馏后支持实时推演,为具身决策提供可复用的数据与评测基础。

  14. Hugging Face · 每日论文

    RoboValue: 细粒度模拟与真实环境基准统一评估机器人价值模型

    AI 导读研究团队推出RoboValue基准,通过共享接口评估机器人价值模型的四个互补能力维度:任务状态理解、时间进度监控、故障恢复推理和价值一致性。该基准包含15个模拟和20个真实操作任务,提供专家演示和标注轨迹。评估显示现有模型在细粒度指令锚定、历史依赖进度跟踪和恢复评估方面存在错误,同一语义子任务在不同执行顺序中可能获得显著不同的价值增益。

    AI 选稿理由解决了机器人价值模型评估不全面的问题,提供首个覆盖模拟与真实环境的细粒度基准,帮助识别价值监督的具体目标。

  15. Hugging Face · 每日论文

    论文提出Anti-Persistence记忆设计,缓解LLM Agent错误复现

    AI 导读论文指出,Agent把规则、摘要等抽象经验存入外部记忆后,其中的错误会经检索复用传导到后续决策,并通过“抽象—执行—再抽象”循环被重新生成,作者称之为错误复现。为此提出Anti-Persistence:只累积轨迹与结果,任务指导按需即时合成、执行后即丢弃,由自适应选择器依据既往结果决定是否及如何合成。在多个基准与骨干模型上,该设计取得更高的留出任务成功率与最低的平均LLM调用成本。

    AI 选稿理由论文提出Anti-Persistence记忆设计并给出跨基准、跨骨干模型的对比结果:留出成功率更高且平均LLM调用成本最低,适用于基于外部记忆自我改进的Agent。

  16. Hugging Face · 每日论文

    研究发现语言模型在组合任务时存在隐式思考预算,按脆弱性分组可省43% token

    AI 导读论文指出,当多个任务组合在同一提示中时,模型错误率显著上升,即使每个任务单独都能可靠完成,且错误无法用独立误差累积解释。在开源模型和Claude Opus 5上,作者发现模型在组合下每个任务分配的思考token明显少于单独完成时,即使序列远未超出上下文窗口;单独完成时需要更长解题轨迹的任务在组合下更易出错。利用这一隐式预算机制,按任务脆弱性分组可在数学和语言任务上减少43%的token使用并保持准确率。

    AI 选稿理由论文提出组合任务下错误源于隐式思考预算而非误差累积的解释,并给出按脆弱性分组省43% token且保准确率的可复用方法,适用于多任务提示设计。

  17. Hugging Face · 每日论文

    State World Models: Execute the Rules, Generate the Pixels

    AI 导读研究人员提出Stateful Harness框架,将世界演化与视频渲染分离,支持基于规则的状态交互。通过维护 evolving world state 并使用冻结视频模型渲染事件,该框架在隐藏状态场景下实现了92%的规则合规率,显著优于现有方法。团队还构建了WorldState-Bench基准测试,包含50对反事实双胞胎样本用于评估。

    AI 选稿理由解决了世界模型在隐藏状态场景下规则执行不稳定的瓶颈,为需要持久规则交互的应用提供了新框架

  18. Hugging Face · 每日论文

    EMBER:不依赖对接复合物预测TCR–pMHC结合

    AI 导读研究者提出EMBER,分别折叠TCR与pMHC并编码为SE(3)不变残基图,在无共享坐标系下比较表示,因而不需预测对接复合物,避免结构放置误差传播。预处理复杂度由O(NM)降至O(N+M)。在表位不相交评测、六个重训基线及四种折叠工具下,EMBER的micro-AUROC、micro-AUPRC和MCC全部居首,排名跨工具稳定性最多提高85%。

    AI 选稿理由提出无需对接复合物的TCR–pMHC结合预测框架,在表位不相交评测中于四种折叠工具下全面领先重训基线,并给出跨工具排名稳定性结果。

  19. Hugging Face · 每日论文

    混合架构中的竞争学习研究

    AI 导读该论文揭示了混合架构中不同混合器之间的竞争学习现象,现代递归层在检索功能学习上快于softmax注意力,导致注意力层难以学习检索功能。通过在训练中途停止递归层权重更新,可使注意力层成功学习检索功能。提出的分阶段训练方法在10亿参数模型上显著提升了语言建模损失、常识推理及多种检索相关任务性能。

    AI 选稿理由解决了混合架构中不同混合器功能竞争的问题,提供了一种有效的分阶段训练方法,显著提升了混合模型在检索任务和语言建模中的性能。

10月18日周日
  1. Hugging Face · 每日论文

    政策而非能力:安全基准测量的是训练中采用的'不安全'定义

    AI 导读研究显示,安全护栏分类器的性能主要取决于训练时采用的'不安全'定义,而非模型本身的能力。同一组提示使用两种不同定义标注后训练的模型,在相同架构下,安全基准得分差异可达23倍。仅0.03%的参数变化就能使基准分数跨越整个范围,验证准确率与标注者政策定义的一致性(rho=+0.74)远高于检测能力(rho=+0.34)。

    AI 选稿理由揭示了安全评估中政策定义对模型性能的决定性影响,为AI安全基准测试提供了新的评估维度和改进方向。