跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

数据与训练

全部主题
主题资料

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

214 篇文章

最新文章

第 61–80 条 · 共 214 条
10月20日周二
  1. Hugging Face · 每日论文

    Meta Expert:跨层共享专家,降低MoE存储并提升检索效率

    AI 导读研究比较多层Local Expert与跨层共享的Meta Expert,发现共享专家参数冗余更低、交叉熵损失更小、下游准确率更高。在激活专家数量和粒度固定时,仅用70–80%的专家即可达到普通MoE性能;理论分析称Meta Expert为隐藏状态提供更灵活的残差通路,提升信息检索效率。

    AI 选稿理由给出跨层共享专家在MoE中减少冗余的具体实验对比与70–80%专家用量结果,属模型架构研究,尚需按论文实验范围理解。

  2. Hugging Face · 每日论文

    Self-Credit:用组内重缩放为长程智能体强化学习分配信用

    AI 导读针对RLVR奖励稀疏、长程任务难以分配信用的问题,作者提出Self-Credit:先让策略模型在 rollout 中生成带引用的摘要,标出关键证据所在轮次;再用同一提示下成功与失败轨迹的组内一致性重缩放这些引用,削弱错误信用、强化关键动作,并据此调整引用轮次的优势值。在BrowseComp-Plus上,Qwen3 8B与32B分别比基座高37.0和36.2分,比最强智能体RL基线高8.5和5.6分;GAIA与xBench-DeepSearch分别再高4.9和4.7分。

    AI 选稿理由提出无需额外标注的信用分配方法,在Qwen3 8B/32B上给出BrowseComp-Plus、GAIA、xBench-DepSearch的具体提升幅度,适用于长程工具型智能体RL训练研究。

  3. Hugging Face · 每日论文

    Agent S4让计算机使用Agent自行进化接口,OSWorld V2达21.3%新SOTA

    AI 导读论文提出Agent S4,让接口设计本身成为Agent能力:元智能体在无成功标签的合成任务轨迹上构建并修订接口仓库,再用种群式进化按验证任务表现筛选。在OSWorld V2上,搭配Qwen3.8-27B的Agent S4取得21.3%二元得分,是同模型固定接口的3.8倍,超过GPT-5.5(13.0%)和Claude Opus 4.8(20.6%),成本约为后两者的4.3%和1.5%;ScienceBoard成功率从41.4%升至58.6%。代码已开源。

    AI 选稿理由提出从任务经验自动进化Agent接口的方法,在OSWorld V2和ScienceBoard上以约1/4至1/15成本超过GPT-5.5与Claude Opus 4.8,为计算机使用Agent提供接口自进化的开源方案。

  4. Nature Machine Intelligence · 研究

    Lagrangian–Eulerian学习模型TrajectoryFlowNet同时预测流场和粒子轨迹

    AI 导读Wan等人提出了一种物理信息学习模型TrajectoryFlowNet,能够基于有限的轨迹测量数据同时预测长程粒子路径和流场,已在模拟和血液流动实验中得到验证。

    AI 选稿理由该模型解决了流场和轨迹预测中数据稀疏性的瓶颈,可用于医学血流分析等需要精确预测粒子运动的领域,显著提高了预测精度和效率。

  5. Hugging Face · 每日论文

    Sage-A1.5:35B MoE智能体模型强化长程编排与科学探索

    AI 导读Hugging Face每日论文介绍Sage-A1.5,这是一个在A1基础上构建的35B混合专家智能体模型。相较A1,它不只求解单个任务,还能在執行中组织工作并调整策略:通过子智能体独立上下文的委派与并行协作实现任务分解;以进度检查、证据验证和反思式策略修订提升长程可靠性,识别无效搜索路径并转向;并将能力扩展到开放式科学发现,支持交互式分析与可审查的研究产物。作者通过复杂智能体任务和多学科科学应用展示上述能力。

    AI 选稿理由这是新模型的技术报告,新增点是子智能体并行编排、验证纠偏与科研探索三类能力的组合,适用于长程任务与开放科学场景;目前仅有报告中的任务与多学科应用展示,未给出公开权重或基准对比。

  6. Hugging Face Blog

    PyTorch 2.15 为 Mac 带来 MPS 性能提升,FP8 支持与 MoE 模型解码加速

    AI 导读PyTorch 2.15 为 Apple Silicon Mac 带来多项 MPS 性能优化:FP8 数据类型支持,MoE 模型解码速度提升 5-6.5 倍,线性层和 softmax 运算加速,视频解码内存占用从 270GB 降至 8GB,新增复杂线性代数运算支持。同时提供更精确的 MPS 可用性检查和 Python 流控制功能。

    AI 选稿理由解决了 Mac 平面运行大型模型的性能瓶颈,使 MoE 模型解码速度提升 5-6.5 倍,视频生成内存占用降低 97%,为 Apple Silicon 用户提供了更高效的 AI 模型训练和推理能力。

  7. Hugging Face · 每日论文

    VPM 世界模型:用点轨迹预测多视角未来视频并驱动机器人

    AI 导读研究提出 Video-Point Model(VPM),以多视角视频历史和语言指令为条件,联合预测任意视角的未来视频和持续场景点的 3D 轨迹。团队扩展预训练世界模型,加入相机条件多视角处理和轨迹预测头,并构建 VPM-Data 仿真语料与 VP-WorldBench 基准。将动作作为 token 接入后,该模型在仿真与真实机器人操作中成功率均提升。

    AI 选稿理由新增可复用的世界模型方法:点轨迹监督同时改善视频保真度与 3D 运动精度,并覆盖仿真和真机操作任务。

  8. Hugging Face · 每日论文

    StreamEval:评估交互式流式视频生成模型的统一基准

    AI 导读研究团队推出StreamEval,一个涵盖五个任务的交互式流式视频生成统一基准,包括虚拟人对话、表演、世界生成、指令编辑和参考编辑。该基准包含300个测试用例,通过四个维度(任务执行、状态一致性、视觉保真度和视听协调)评估37个模型,发现高质量视觉和身份保留并不一定可靠执行请求或保持状态一致性,请求执行仍是主要挑战。

    AI 选稿理由StreamEval提供了首个交互式流式视频生成的统一评估框架,揭示了当前模型在请求执行和状态一致性方面的关键缺陷,为实时多模态系统发展指明方向。

  9. Hugging Face · 每日论文

    Ask-to-Distill:用生成的问题做策略蒸馏,无需参考答案

    AI 导读论文提出Ask-to-Distill,把合成问题当作分布引出器,用冻结的学生-教师模型对计算问题价值:结合师生分歧、教师概率质量与学生候选支持,并加入长度和多样性控制,无需参考答案、正确性奖励或逐候选更新。生成的问题经筛选去重后进入纯提示题库供标准OPD使用,在数学推理、代码生成与Agent任务上平均性能超过未优化提示和KL过滤的真实问题。

    AI 选稿理由提出无需参考答案的问题价值代理指标与生成流程,并在三类任务上给出相对真实题库和过滤基线的评测结果。

  10. Hugging Face · 每日论文

    视觉-语言-动作模型机制性研究:特征不平等与脆弱性解析

    AI 导读研究团队开发了解释性管道,发现视觉-语言-动作(VLA)模型将任务指令编码为绝对坐标程序,导致对物体位置变化的脆弱性。通过激活注入实验,模型在99.6%的案例中执行源任务的轨迹,即使面对不同场景。研究还发现不同架构对指令的权重分配差异,以及目标选择与动作生成的分离机制。团队发布了Action Atlas交互平台,包含520+训练SAEs、79个识别概念及UR10e实验结果。

    AI 选稿理由提供了视觉-语言-动作模型的内部工作机制解释,揭示了其脆弱性的根本原因,并开源了可复用的分析工具与数据集。

  11. Hugging Face · 每日论文

    Slot-JEPA 将稠密表征分解为语义槽,改善潜在世界模型规划

    AI 导读论文指出现有 JEPA 的稠密 patch 表征需下游预测器隐式恢复物体结构和跨时间对应。作者提出 Slot-JEPA,将稠密表征分解为稳定语义槽与时变空间掩码,预训练一次后冻结即可复用;配套的过渡记忆预测器 TMP 用掩码存储视觉过渡,并用非平衡最优传输监督掩码与评估候选计划。在 7 个视觉理解基准上槽重建特征保持可迁移,并在 6 个平面环境和 REALM-JEPA 的 4 个机械臂规划任务上提升目标条件规划。

    AI 选稿理由提出可复用的物体结构化接口并在 7 个视觉基准、6 个平面环境和 4 个机械臂规划任务上验证迁移与规划提升,适用于关注世界模型与机器人规划的研究者。

  12. Hugging Face · 每日论文

    PAR:让循环模型的额外迭代对齐进度,512步状态跟踪达95.5%

    AI 导读论文提出 Progress-Aligned Recurrence(PAR):把第k次迭代的预测对齐到前k步后的状态,并把循环状态缩放回首次迭代的范数。用最多32步训练的Qwen2.5-0.5B在swap-S_5上做512步全状态跟踪,平均准确率95.5%,为训练长度的16倍;同骨干下RLT为55.7%,显式思维链仅0.8%。消融显示去掉范数锚定后外推倍数从16倍降至2.2倍以下,把进度对齐目标换成最终答案监督则至多8倍。

    AI 选稿理由给出可复用的训练方法:进度对齐目标加范数锚定,使循环深度在状态跟踪任务上的外推从不到2.2倍提升到16倍,并附同骨干对照与消融结果。

  13. Hugging Face · 每日论文

    JCA:为任意骨骼绑定同时生成3D动作与视频

    AI 导读NVIDIA研究团队提出Joints, Camera, Action!(JCA)模型,可为任意给定的骨骼绑定(rig)同时生成视频与可回放的3D动作,并估计相机将动作配准到场景。方法将3D动作保留在独立模型中,通过少量交叉注意力层连接预训练视频模型;模型还学习在视频帧中定位每个关节以恢复相机。借助生成式视频编辑器布置动画3D资产,团队整理出近20万对训练数据(含人与机器人视频)。评测显示该模型从文本驱动多样骨骼比视频优先管线更忠实,动作会响应周围场景,且支持视频转骨骼动作、骨骼动作转视频及基于关键帧的3D动作控制。

    AI 选稿理由提出首个支持任意骨骼绑定的视频与3D动作协同生成方法,通过分离式架构与关节定位恢复相机,用近20万训练对实现可回放、场景响应的3D动作生成及双向转换。

  14. Hugging Face · 每日论文

    真实数据驱动的场景文本编辑:TextRIRO模型实现高保真度文本修改

    AI 导读研究团队提出TextRIRO模型,通过破坏原始图像(如裁剪、打乱、遮盖)构建自配对训练数据,基于条件扩散架构实现场景文本编辑。实验表明,结合字符列打乱与图像裁剪的方法能有效破坏文本语义同时保留风格线索,在真实世界基准测试中取得准确性和视觉真实性的优异表现,并构建了TextRIRO-3M大规模长文本识别数据集。

    AI 选稿理由TextRIRO模型通过自配对真实数据训练,显著降低了合成到真实领域的差距,为场景文本编辑提供了更可靠、更实用的解决方案。

  15. Hugging Face · 每日论文

    研究:后训练让模型回答趋同,CAP偏好数据可按用户方言密度校准

    AI 导读研究追踪SFT、DPO和强化学习如何改变模型匹配用户语言习惯的倾向,在10个开源模型系列中发现后训练会把回复统一成标准英语,且DPO更新仍更偏好匹配英式、澳式拼写而非AAE和新加坡英语。作者提出校准化适配偏好对CAP,在完全开源模型上提升了未训练特征的收敛,未增加标准英语用户的方言输出,也未损害指令遵循;单边偏好对则靠过度迁就用户取得类似增益。

    AI 选稿理由论文给出后训练各阶段对语言适配的系统观察,并提出可复现的偏好数据方法CAP,附有开源代码,适用于关注对齐与方言适配的研究者。

  16. Nature Machine Intelligence · 研究

    物理信息机器学习:流体动力学的混合透镜

    AI 导读研究人员开发了一种神经网络方法,结合拉格朗日和欧拉视角,将稀疏观测数据转化为复杂混沌流体运动的高精度物理准确图谱。该研究发表于《Nature Machine Intelligence》,为流体动力学提供了新的分析工具。

    AI 选稿理由解决了流体动力学中稀疏数据到高精度物理模拟的转化瓶颈,可用于复杂流体系统的精确预测和分析。

  17. Hugging Face · 每日论文

    虚拟世界中的扩展规律:120组实验研究具身智能体持续预训练

    AI 导读研究团队用120种训练配置,系统考察持续预训练在数据量、数据多样性和模型规模三个维度上的影响:模型从0.8B到27B共四档,数据预算从50到1600小时共六档,数据混合从只用Minecraft扩展到多世界语料共五类。结果显示:数据越多,同语料世界内表现越好;多样性有助于迁移到相关世界,但对差距很大的世界提升有限;单一世界训练下,增大模型能提高数据效率,但对远处世界的泛化反而更差。作者还拟合了验证损失与这三个变量之间的经验扩展律。模型在3D世界中与Minecraft专家模型和前沿模型水平相当。作者指出,仅靠持续预训练仍不足以构建通用具身智能体。

    AI 选稿理由用120组受控实验给出数据量、多样性、模型规模对虚拟世界具身预训练的扩展律与泛化边界,结论可用于设计训练阶段。

  18. Hugging Face · 每日论文

    Policy-Mask: 预算感知的扩散特征适应判别任务

    AI 导读研究团队提出Policy-Mask方法,通过预算条件策略联合选择时间步、网络块和通道子集,解决了冻结扩散模型特征选择难题。在分割、分类和语义对应任务中,该方法在相同预算下优于固定提取和特征过滤基线,在ADE20K上达到38.9 mIoU,CIFAR-100上达到75.4% top-1准确率,SPair-71k上达到76.3 PCK@0.1。研究发现256个保留通道是实际操作点,并将方法扩展到PixArt-Σ和SD3.5 MMDiT等扩散变压器。

    AI 选稿理由Policy-Mask通过联合优化特征选择参数,显著提升了扩散模型在判别任务中的性能,并确定了实际操作点。

  19. Hugging Face · 每日论文

    Agent4Sci:前沿编码 Agent 在 20 个科学 ML 基准上平均提升 10.4%

    AI 导读研究团队提出 Agent4Sci,用作长期测试平台,覆盖 11 个领域的 20 个科学 ML 基准,重点考察 Agent 在真实条件下能改进已发表最佳模型多少,以及会在哪里失败。结果显示,前沿 Agent 在每个基准上都有提升,其中 Claude Opus 的平均相对改进为 10.4%,且没有运行被标记为学术不端;但这些提升主要来自 ML 工程技巧,而不是研究级洞察。轨迹分析指出三类问题:新颖性判断失准、资源利用不足,以及很快退化为局部工程搜索。加入研究构思、实验管理和定时检查清单等轻量插件技能后,Claude Opus 提升到 20.1%,Codex 从 4.4% 提升到 8.1%。代码和数据已在 GitHub 与 Hugging Face 公开。

    AI 选稿理由Agent4Sci 用 11 个领域 20 个基准实测前沿 Agent 对已发表最佳模型的改进幅度,并给出插件技能将 Claude Opus 从 10.4% 提到 20.1% 的可复用方法,同时限定在科学 ML 基准范围内。

  20. Hugging Face · 每日论文

    HarnessAdapt-RL:强化学习同时训练编码Agent模型与执行框架

    AI 导读论文提出HarnessAdapt-RL,在强化学习训练编码Agent时同步调整模型策略与执行框架(harness),不再固定框架只更新策略。冻结教师为具体任务生成机制级技能,另一教师按跨任务共性问题演化工具与hooks,仅保留不降低通过率或可训练率的改动。9B基座模型在SWE-bench Verified、Multilingual、Pro上pass@1较GRPO分别提高9.8、12.6、6.4个百分点,也优于配OpenHands人工框架的GRPO。

    AI 选稿理由给出把Agent执行框架纳入强化学习训练的具体方法,并在SWE-bench三个设置上量化对比GRPO与人工框架,属可复用的Agent训练研究。