跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

数据与训练

全部主题
主题资料

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

221 篇文章

最新文章

第 161–180 条 · 共 221 条
10月16日周五
  1. Hugging Face · 每日论文

    Huginn 架构新研究:循环模型设计需解耦拓扑、输入注入与循环状态

    AI 导读该研究将循环语言模型中的循环位置、输入注入方式与循环状态组织三个设计维度解耦,在相同参数规模、逻辑深度和 token 预算下从头训练模型对照。结果显示 prelude-recurrent block-coda 三明治架构在上下文提取和推理任务上稳定更优,输入注入主要提升知识检索与上下文利用,随机初始化和分离 H/L 循环状态收益混合甚至为负。在 730M 参数、336B token 规模下,完整 Huginn 架构在全部十项基准上超过 Ouro,且该优势可迁移到 MoE 模型。

    AI 选稿理由为循环模型设计提供了可复用的解耦实验结论:Huginn 风格在 8BA0.8B MoE 上用 75% 更少的常驻参数即可超过 112 层前馈基线,并覆盖知识、推理和编码任务。

  2. Hugging Face · 每日论文

    语言模型学习改进语言模型

    AI 导读研究提出LM2LM方法,通过强化训练大语言模型生成有效的语言模型改进方案。使用研究世界模型(RWM)提供可扩展反馈,并定期执行高排名提案以保持反馈可靠性。在八个自回归和扩散语言模型开发环境中,LM2LM使Qwen3.8-27B超越GPT-6-sol,即使后者拥有300个真实实验记录,且数据生成成本降低33%。该方法还能推广到训练期间未见过的模型家族。

    AI 选稿理由LM2LM实现了语言模型自我改进的高效方法,通过研究世界模型降低数据生成成本33%,并在多种模型开发环境中超越现有模型。

  3. Hugging Face · 每日论文

    QD-Rec:通过质量多样性实现推荐系统的开放式进化

    AI 导读研究人员提出QD-Rec方法,将开放式搜索与基础模型结合应用于推荐系统,为决策者提供多样化且高质量的推荐选项,每个选项附带自然语言解释。该方法在并购、客户目标定位及论文书籍推荐等场景中,多数情况下实现了最高的平均质量并构建了最大的推荐档案库。

    AI 选稿理由QD-Rec解决了传统推荐系统仅提供单一排序列表的局限,为高风险决策场景提供了多样化且附带解释的推荐选项,提升了决策质量。

  4. Hugging Face · 每日论文

    LILIE:用语言信息损失改进视觉生成,JiT 模型 gFD 降低 14 点

    AI 导读论文提出 LILIE(语言信息无损图像编码器),一种可逆图像变换,通过归一化流 Transformer 与视觉-语言模型联合训练,使 VLM 能从加噪特征中恢复描述文本。研究者用 LILIE 损失训练 JiT 模型,在 GPIC 数据集上相比纯像素损失基线将 gFD 从 66.84 降至 53.01。代码、编码器与生成模型已开源。

    AI 选稿理由提出语言信息监督的可逆图像编码器 LILIE,在 GPIC 数据集上将 JiT 模型 gFD 从 66.84 降至 53.01,相比像素损失基线降低 14 点,并开源代码与模型。

  5. Hugging Face · 每日论文

    OfficeTown:用生成式组织模拟训练更通用的 AI Agent

    AI 导读研究者提出 OfficeTown,一个面向专业组织的生成式模拟框架:根据组织的目标和活动描述自动初始化组织,成员协调工作、把有限任务委派给助手 Agent 并评审交付物,产出物、决策和未决事项会持续影响后续工作,职责与权限决定成员可见和可做的范围。团队构建了包含 23 个模拟组织、8 个专业领域、406 项任务和 4836 条评估标准的 OfficeTown Bench。前沿模型评测显示仍有较大提升空间;用 OfficeTown 数据做监督微调和同策略蒸馏后,Qwen3.5-9B 在 GDPval 等外部专业工作基准上显著提升,主从式 harness 也优于单/多 Agent 基线。

    AI 选稿理由为通用 Agent 提供了带有组织记忆、权限与评审反馈的可执行训练与评测环境,其数据可迁移提升模型在 GDPval 等外部专业工作基准上的表现。

  6. Hugging Face · 每日论文

    TreeOPSD:面向长程智能体强化学习的树感知后验自蒸馏框架

    AI 导读论文提出 TreeOPSD,一种无需 critic、树感知的后验自蒸馏框架,用于长程智能体强化学习。该方法将每个交互轮视为树节点,从共享前缀分支出替代延续,并递归地把终端奖励回传为隐式轮级信用,再映射为以相对冻结行为策略似然比为参数的闭式有界教师分布。实验显示其在多个基准和模型规模上提升智能体能力,Qwen3-30B-A3B-Thinking-2507 在 Deep Research 设置下平均准确率较 GRPO 提升 4.97 分。

    AI 选稿理由为长程智能体 RL 提供了无需价值网络和步骤标注的轮级信用分配方法,并用有界教师分布约束多轮小批量更新,可用于提升深度研究等长程任务的训练稳定性与效果。

  7. Hugging Face · 每日论文

    N-Gram Memories at Two Bits: 量化大型语言模型中的查找表

    AI 导读研究提出Conditional Program (CP)压缩表示方法,通过短码和局部尺度重建输入请求的行,仅需两比特编码即可将输出KL降低41-63%。在三个训练的n-gram记忆家族中,共享格子在匹配存储预算下优于测试的拟合码本和低秩残差变体,将DeepSeek的表存储从203GB减少到51GB。

    AI 选稿理由解决了大型语言模型中嵌入表存储瓶颈问题,显著降低存储需求同时保持模型性能,使更多工作负载可驻留在GPU上。

  8. Hugging Face · 每日论文

    MIST 评测揭示视频世界模型记忆失败主因:未执行指令而非遗忘

    AI 导读研究者提出 MIST 评测,将“场景设置”与“应留下的记忆”分开检验,发现视频世界模型在记忆测试中失分主要因为未执行被指示的变更,而非遗忘。基于此提出 M3-Agent(Make the Missing Move),递归改写输入指令细节以促使模型执行指令,其 MIST reveal 得分相比基线提升三倍以上,WRBench 的 T 分数提升 26.1%,MBench-T 的 U 分数提升 52.7%。

    AI 选稿理由把视频世界模型的“执行失败”与“记忆失败”拆开诊断,并给出可递归改写指令的 M3-Agent,使冻结模型在既有基准上显著提升,为世界模型评测与提示设计提供了可复用方法。

  9. MIT News · AI 与行业突破

    MIT供应链可持续发展报告:83%企业重视ESG,但AI自动化仓库78%能耗反升

    AI 导读MIT可持续供应链实验室调查91国1810名供应链从业者:83%认为可持续发展对长期业务成功重要,为报告七年来最高;但68%因关税不确定性推迟或放弃ESG战略,仅51%设有跨职能可持续团队、33%有董事会层级监督。78%北美企业已在可持续行动中用AI,86%减少物料浪费,但成熟Agentic AI用户中仅53%实现温室气体减排,29%反增;高度自动化仓库中78%报告能耗上升却只有24%用AI实时监测。范围三供应商联合减排参与率一年内从31%升至58%。

    AI 选稿理由报告用1810份问卷量化了AI在可持续场景中的能耗悖论——自动化仓库78%能耗上升、仅24%有实时环境监测,为评估AI落地真实环境成本提供了可复用数据。

  10. MIT News · AI 与行业突破

    MIT 团队发布 IRIS 模型,解码细胞间信号传导历史

    AI 导读MIT 与 Whitehead 研究所团队在 Nature Methods 发表研究,提出机器学习模型 IRIS。该模型可识别不同信号通路在基因活动上留下的独特“指纹”,且同一通路在不同细胞类型中指纹一致,从而无需逐一细胞类型实验即可推断细胞在胚胎发育各阶段接收的信号。IRIS 在小鼠原肠胚单细胞数据上准确预测了心脏、肠道、肌肉和脊髓相关信号通路,并成功预测驱动肺细胞发育的通路,经小鼠实验验证。

    AI 选稿理由该模型用迁移学习思路统一识别跨细胞类型的信号通路指纹,可在小鼠或人类胚胎尺度重建细胞信号历史,为干细胞工程、类器官建模与肺纤维化等疾病研究提供可复用的推断工具。

  11. Google DeepMind62

    Google DeepMind 用 Google Antigravity 加速抗菌肽发现

    AI 导读Google DeepMind 介绍其智能体开发平台 Google Antigravity 如何用于抗菌肽发现,把原本分散在多个数据库的检索压缩到一次会话中。平台借助 ProtNLM 模型从氨基酸序列预测生物功能,扫描 UniProt 中数百万个此前未表征的蛋白质,并找到一条对呼吸道感染相关病原体有预测活性的新型抗菌肽候选,目前正进行湿实验验证。

    AI 选稿理由原文给出智能体科研工作台与 3D 结构查看器的协作流程,读者可了解生物学家如何把跨库检索压缩进单次会话。

  12. Microsoft Research66

    微软研究院发布 Magnetar:基于证明的通用计算 zkVM

    AI 导读微软研究院发布 Magnetar,一个通用零知识虚拟机(zkVM),可证明用 Rust、Go 或 C 编写的 RISC-V 程序执行,在 15 个基准程序上平均比现有最快 zkVM 快 10 到 39 倍,证明验证约 12 毫秒。

    AI 选稿理由微软研究院公开 Magnetar 的设计与基准数据,可了解零知识证明在通用程序上的效率与安全取舍。

10月15日周四
  1. Mistral AI76

    Mistral 发布 Timestral 时间序列基础模型

    AI 导读Mistral 发布了 Timestral 时间序列基础模型家族,最大仅209M参数却在主要基准测试上排名第一。该模型家族提供四种规格(5M至209M参数),支持多变量预测和过去及未来协变量,可在CPU上高效运行。Timestral结合合成预训练、协变量感知注意力和长上下文学习,可通过Mistral Forge进行领域适配微调。

    AI 选稿理由Timestral以209M参数在时间序列预测上超越更大模型,且能在CPU上高效运行,降低企业应用门槛。

  2. Hugging Face · 每日论文

    训练推理模型生成多样化科学创意

    AI 导读研究提出了一种基于文档的创意生成方法,通过集合级强化学习训练模型生成高质量且多样化的科学创意。实验显示,其8B模型在创意质量和多样性综合指标上超越Claude Opus 4.8和GPT-6 Astra,人类专家评估显示其创意集与Claude Opus相当且包含更多独特创意,执行成功率相当。

    AI 选稿理由解决了科学创意生成中质量与多样性难以兼顾的瓶颈,为研究人员提供更高效的创意生成工具。

  3. Hugging Face · 每日论文

    PremiseCheck:用大模型改写加轻量判定模型,低成本核查同行评审事实错误

    AI 导读针对投稿量增长导致同行评审中人类或AI评论可能误述论文内容的问题,研究者提出ReviewFact基准,在NLP、机器学习与自然科学领域统一标注评审评论中的事实错误,并同时测量准确率、成本与延迟。其PremiseCheck框架先用LLM在不读论文的情况下将每条评论改写为显式前提,再用轻量判定模型逐条对照论文核查。单条评论独立核查时,PremiseCheck在三个领域达到与GPT-5.5相当的准确率而成本约为其一半;在NLP评审上成本约为四分之一、延迟不到一半。

    AI 选稿理由把昂贵的前沿模型整篇核查拆成“改写前提+轻量判定”,在保持准确率的同时把评审事实核查成本降至约一半甚至四分之一,可用于大规模投稿场景的自动化评审质量筛查。

  4. Hugging Face · 每日论文

    OmniXRef: 统一多模态多参考视频编辑框架

    AI 导读研究团队推出OmniXRef框架,支持结合文本、图像和视频参考进行视频编辑。该框架采用统一输入设计和R²-RoPE技术,通过单流扩散Transformer处理源视频和多模态上下文。为解决训练数据稀缺问题,研究人员构建了OmniXRef-Data数据集,并引入课程学习逐步增加任务复杂度。同时发布OmniXRef-Bench基准测试,评估视频参考在不同属性上的转移效果。实验表明,OmniXRef-Model在性能上超越任务特定基线和商业模型。

    AI 选稿理由OmniXRef解决了多模态参考视频编辑中统一处理不同类型参考的技术瓶颈,为视频创作者提供了更灵活、高效的编辑工具。

  5. Hugging Face · 每日论文

    Librarian Agents:训练LLM构建可预测未来查询的长上下文工作空间

    AI 导读研究提出Librarian Agents框架,通过强化学习训练构建代理将原始文档转化为分层文件系统,形成面向下游回答代理的工作空间。在BrowseComp-Plus基准上超越最强检索和预计算基线33个百分点,在BRIGHT数据集上零样本泛化能力提升31个百分点,显著提升长文档推理效率。

    AI 选稿理由解决了长文档推理中检索方法被动响应和预计算结构僵化的瓶颈,使LLM能主动组织文档以服务多样化未来查询。

  6. Hugging Face · 每日论文

    GlobeBench: 评估文本世界模型在可扩展环境模拟中的能力

    AI 导读研究人员推出GlobeBench基准,包含5个领域、19种模拟技能的1632项任务,用于评估文本世界模型预测环境响应的能力。测试显示GPT-6 Astra成功率最高达49.57%,但当动作影响环境范围扩大时,模型平均成功率降至5.1%,631项任务无模型能解决,表明LLM作为世界模型存在显著能力差距。

    AI 选稿理由GlobeBench首次为文本世界模型提供标准化评估基准,揭示了当前模型在复杂环境预测中的局限性,为改进方向提供明确指引。