跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

数据与训练

全部主题
主题资料

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

221 篇文章

最新文章

第 201–220 条 · 共 221 条
10月14日周三
  1. Hugging Face · 每日论文

    MorphAct:让机器人策略随交互环境动态变形

    AI 导读研究者提出 MorphAct,一种上下文参数化框架,能根据交互情境动态调整机器人策略参数,而非在所有任务间共享固定参数。其两个耦合生成器分别产生视觉-语言与动作模块的低秩更新,并按策略计算依赖关系耦合,无需操作标签或专家适配器目标。在 LIBERO 和 Meta-World 上,该框架在三个 VLA 主干上最高提升 16.30%,真实世界评测相对 π_{0.5} 最高提升 14%。

    AI 选稿理由它针对多任务机器人学习中共享参数被冲突更新方向拖累的瓶颈,用上下文生成的低秩参数更新解耦不同操作,并在仿真与真实机器人上验证了性能提升,可供 VLA 机器人策略研究者复用。

  2. Hugging Face · 每日论文

    SAE-IDF:用稀疏自编码器为符号系统建立共享坐标,跨系统匹配最高提升45分

    AI 导读论文提出 SAE-IDF,将符号在其原生上下文中用稀疏自编码器编码为稀疏码,再按各维度稀有度加权,实现异构符号系统之间的单元匹配。在覆盖 6 类符号系统的 12 项任务上,使用 Gemma-2-9B 时全部任务优于同一模型的稠密基线,使用 Llama-3.1-8B 时仅在 1 项任务上未胜出,最高提升 45 分,且在不同 SAE 层与配置下表现一致。稀疏码的每个维度具有人类可读含义,每次匹配可分解为具名概念。作者称这是构建通用符号骨干的基础一步。

    AI 选稿理由给出跨异构符号系统的可解释匹配方法,为数据驱动地拼接更大规模神经符号系统的符号骨干提供可复用基础,做符号对齐与可解释推理的研究者可参考其 SAE-IDF 编码与稀有度加权做法。

  3. Hugging Face · 每日论文

    ReaDy:用混合线性注意力循环状态做推测解码草稿

    AI 导读论文提出 ReaDy,首个利用混合线性注意力(HLA)模型循环状态辅助推测解码的方法:每个草稿位置通过可学习查询从目标模型已提交的循环状态中检索位置相关上下文,轻量状态读取器以残差方式注入草稿表示,并通过低秩读取与融合算子控制开销。在数学、代码生成、对话等七个基准上,ReaDy 在单张 NVIDIA B200 上配合 Qwen3.8-27B 平均取得 3.16 倍解码加速,吞吐较 DSpark 提升 7.97%,接受长度提升 8.50%。代码已开源。

    AI 选稿理由把混合线性注意力模型的循环状态用作推测解码的位置相关上下文,在多个基准上把草稿吞吐和接受长度同时提升,可直接用于长文本自回归推理的加速部署。

  4. Hugging Face · 每日论文

    Interlock: 从局部正确到任务完成的长周期智能体框架

    AI 导读针对长周期任务中智能体可能产生局部正确但不完整结果的问题,研究人员提出Interlock框架,将任务表示为类型化完成图,通过连接边、耦合超边和实现边维护任务关系。该框架编译为可重置工作空间、公共请求和评估标准,并通过源覆盖审查和公共输入审查确保任务完整性。在Qwen3.6模型上的实验显示,该框架能提升AutomationBench任务通过率4.00-4.50个百分点,JobBench加权分数3.20-6.64分,Harvey LAB标准通过率3.89-4.16个百分点。

    AI 选稿理由Interlock框架解决了长周期任务中局部正确但不完整的瓶颈问题,通过任务图表示和验证机制提升任务完成率,适用于复杂环境下的智能体任务执行。

  5. Hugging Face · 每日论文

    Recognition Is Not Grounding: Benchmarking Multilingual Financial Evidence Extraction

    AI 导读研究团队推出MULTIFINGROUND基准测试,评估多语言财务报告中概念识别与证据提取能力。该基准基于90家发行商的2025财年报告构建,涵盖英法希腊三种语言。测试显示,15个模型中8个API和开源模型概念识别准确率达97.3-99.4%,但在正确识别的概念组中,26.6-41.9%的情况下至少遗漏一个目标事实。

    AI 选稿理由揭示了多语言财务报告中模型概念识别能力强但证据提取不完整的普遍问题,为金融AI应用提供了更全面的评估标准。

  6. Hugging Face · 每日论文

    REASON:学习中的结构化优化网络鲁棒解释性分析

    AI 导读研究提出REASON方法,通过双循环机制解决复合学习目标下的残差误差问题。快速循环处理可解决的残差,中等速度循环主动获取额外证据并评估其信息价值。实验表明,该方法在计算量约为中等循环一半的情况下持续优于快速循环,在未见过的数据损坏条件下表现良好,且在提供更清洁观测时,以相同计算成本优于阶段分类器和学习延迟方法。

    AI 选稿理由REASON方法通过双循环机制有效解决了分布偏移和扰动下的残差问题,在保持计算效率的同时提升了模型鲁棒性和性能。

  7. Hugging Face · 每日论文

    DAGFormer:用全局拓扑预测器规划Transformer跨层连接

    AI 导读研究者提出 DAGFormer,在标准 Transformer 残差连接之外增加从浅层到深层的直接连接,并由与模型联合训练的拓扑预测器根据输入 token 控制每条连接的强度;与现有逐层独立设置连接的跨层路由架构不同,它一次性规划整个模型的路由。在 75M 到 1B 参数、与 OLMo-2 匹配的对比中,WikiText-2 困惑度比原版 Transformer 低 17%–25%,1B 版本用 5B token 训练即优于用 10B token 训练的原版模型;在 13 项常识、科学、阅读和数学评测任务上平均准确率高 2.0–2.5 分,指令微调后 AlpacaEval 胜率 63%–70%,结构化剪枝下六种设置中有五种退化最小。

    AI 选稿理由把跨层连接由逐层独立决策改为全局联合规划,在同等参数与算力下显著降低困惑度并提升下游任务表现,也为剪枝鲁棒性提供了一种可复用的架构设计思路。

  8. Latent Space

    Dyna-2:百万小时人类视频预训练的世界行动模型,实现24小时叠餐巾99.4%成功率

    AI 导读Dyna Robotics 联合创始人 Jason Ma 在 Latent Space 播客中介绍了 Dyna-2 世界行动模型及物理机器人代理 Dyna-2.1。该模型基于超100万小时人类视频预训练,结合未来视频预测与机器人动作输出,宣称在四个数量级上呈现人类数据扩展规律。实际部署中,机器人连续24小时折叠餐厅餐巾成功率达99.4%,包括推倒整摞餐巾后的恢复;在鼎泰丰每天折叠数千张餐巾。机器人可从低至45分钟的演示中学习新任务,公司自研轮式半人形硬件以支持端侧推理与模型蒸馏。

    AI 选稿理由展示了世界行动模型在真实商业场景实现长时程自主作业的具体能力——45分钟演示即可学习新任务、24小时叠餐巾99.4%成功率,为通用机器人从演示走向规模化部署提供了可复用的数据扩展与端侧推理路径。

  9. MIT News · AI 与行业突破

    MIT 研究:可自组织的人工神经网络能构建自己的学习机制

    AI 导读MIT McGovern 研究所团队 10 月 9 日在 PNAS 发表论文,提出衡量人工神经网络生物学合理性的关键指标是自组织能力,而非仅看性能。他们构建的网络从多层随机连接单元出发,仅靠“同时激活的神经元连接增强”等简单规则,就能自我重组为有效的信息处理网络,学会模式识别和图像分类,性能与依赖反向传播的网络相当。研究目标是理解大脑如何学习,并可能反哺机器学习。

    AI 选稿理由该工作展示了无需外部设计者、仅靠简单局部规则即可自组织出学习能力的网络,为神经科学提供更贴近生物的学习模型,也为脑机接口等需要理解神经元交互规则的应用提供基础。

10月13日周二
  1. Hugging Face · 每日论文

    DisaggKD:通过教师-学生分离与融合损失实现高效知识蒸馏

    AI 导读DisaggKD框架将教师模型和学生模型分离到不同节点,通过流式传输隐藏状态、行窗口和词汇分片的蒸馏损失,避免形成完整词汇表logits,并使用预取环协调生产者和训练者。在Qwen3.5-35B-A3B到9B模型对上,分离布局与同节点布局的损失相同且速度更快;融合损失使同节点训练在更少节点上加速,而分离布局在学生跨多节点时内存效率更高。在大规模模型对中,融合损失的同节点运行仍会内存溢出,而分离布局可成功训练。

    AI 选稿理由DisaggKD解决了知识蒸馏中教师模型受单GPU内存限制的瓶颈,使大规模模型蒸馏训练成为可能,显著提升训练效率和可扩展性。

  2. Hugging Face · 每日论文

    Into the Unknown:用真实科研问题基准测试AI Agent,135篇续写论文无一达标

    AI 导读研究者与US DOE国家实验室科学家合作,推出基准Into the Unknown:给AI Agent一篇科学论文和后续研究方向,要求写出续写论文,并用科学家给出的投稿条件形成评分标准。9个前沿Agent在量子计算、等离子体物理、计算化学、材料科学和科学机器学习领域各写15篇续写,共135篇,全部未满足所有条件,其中114篇未通过诚信检查,常见问题是声称未做的工作或报告与记录证据矛盾的数据。

    AI 选稿理由提供首个以未发表真实后续方向评测AI科研Agent的公开基准:Agent能产出形式上像续写的论文,但无一达到领域科学家标准,可用于衡量自动科研能力的实际差距。

  3. Hugging Face · 每日论文

    Game2Real-Bench:玩具游戏能否揭示并迁移到真实世界视觉推理?

    AI 导读研究者发布 Game2Real-Bench 基准,覆盖细粒度感知、空间推理、约束推理与序列规划四类能力,包含 1000 个可执行验证的程序化游戏样本和 400 个按推理需求对齐的真实样本。评测 25 个 VLM 后发现游戏与真实任务表现高度一致(相关系数 0.935);one-shot 游戏中,部分模型的约束推理提升,但细粒度感知下降。团队还构建了含约 24K 样本、18 类任务、65 个 QA 家族的 Game2Real-Dataset。

    AI 选稿理由该基准首次系统验证游戏任务与真实视觉推理的对应关系,并给出可执行验证的数据集,可供 VLM 评测与训练选择数据来源时参考。

  4. TLDR AI · 前沿简报

    TLDR AI 早报:微软 Maia 300 芯片、Meta Muse Wonder 模型与 Anthropic 自我复制研究

    AI 导读本期头条是微软发布第三代自研 AI 加速器 Maia 300,称每兆瓦性能提升 40%,计划 2027 年起大规模部署;Meta 发布首批前沿级模型 Muse Wonder 与 Wonder Full,强化编码、基准表现和记忆用户信息能力。深度内容涉及 AI 生成软件的责任归属、Anthropic 测试模型自主复制能力、以及昂贵闭环任务为何难以训练。研究方面介绍了以不到 1% 预训练成本改造 Transformer 架构的 Priming 技术,以及 GLM-Legal 在 Harvey LAB 上 19.2% 全通过率。快讯还提到 Claude Opus 5.5 灰度测试、智谱 GLM-5.3-Highspeed 灰度上线约 490 tokens/s 等。

    AI 选稿理由微软 Maia 300 给出每兆瓦性能提升 40% 并计划 2027 年大规模部署,Meta 首批前沿模型与 Anthropic 自我复制研究同期刊出,均属可能改变算力成本与模型能力边界的关键动向。

  5. Microsoft Research42

    微软 StudentSim:用个性化学生模拟器评估和改进 AI 辅导系统

    AI 导读微软研究院推出 StudentSim,一种从公开去标识化学习记录中训练个性化 AI 学生模拟器的研究系统,用于在真实学习者测试前评估和改进 AI 辅导系统。该系统提出 StudentSimEval 基准,从行为保真度和指导响应性两个维度评估模拟器,覆盖国际象棋、第二语言英语写作和数学三个领域,表现优于主流基线。StudentSim 并非产品,不在课堂部署,也不旨在取代教师。

10月12日周一
  1. Import AI

    Import AI 476:科研创造力、自我改进与太空 AI

    AI 导读本期介绍 TasteVal 对 AI 科研能力的评测、HSS 视觉推理基准,以及 Reflection 和 Mistral 的模型进展;作者进一步讨论科研自动化、政府跨实验室训练与 AI 太空工业化的可能性。

    AI 选稿理由把模型成绩、训练成本与科研自动化联系起来,适合追踪下一阶段能力变化;自我改进与太空部分提供作者的长期视角。

10月8日周四
  1. Microsoft Research66

    微软开源 Agent Lightning v1.0:沿用真实 harness 训练智能体

    AI 导读微软研究院开源 Agent Lightning v1.0,一个约 3500 行代码的轻量智能体强化学习框架,提出 Harnessed Agentic RL 范式,让部署时使用的同一套 agent harness 直接参与 RL 训练,无需在训练框架内重新实现智能体。

    AI 选稿理由微软研究院开源 Agent Lightning v1.0,给出约 3500 行代码的完整智能体 RL 控制面与真实 harness 训练路径,可对照其 6000 样本训练配方评估落地成本。

10月1日周四
9月29日周二