跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

数据与训练

全部主题
主题资料

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

214 篇文章

最新文章

第 141–160 条 · 共 214 条
10月17日周六
  1. Hugging Face · 每日论文

    HybridResearcher:4B模型跨结构化与无结构数据推理提升30分

    AI 导读论文提出HybridResearcher,一个4B深研智能体,用已有单源任务(如text-to-SQL或网页搜索)围绕桥接实体合成缺失的另一源数据,并仅在严格校验确认单源不足时保留样本,再经监督微调与强化学习训练。在HybridDeepResearch基准上,pass@8比基座Qwen3.5-4B高30.0分,超Qwen3.5-397B-A17B 8.3分;在BrowseComp与BrowseComp-Plus上亦优于基座,未现灾难性遗忘。

    AI 选稿理由给出用单源任务合成跨源桥接训练数据的可复用方法,并在HybridDeepResearch上以4B模型取得具体分数提升,适用跨结构化与无结构证据的深度研究智能体训练。

  2. Hugging Face · 每日论文

    Progress-Aware Distillation for Mitigating Stagnation in Small Language Model Agents

    AI 导读针对小型语言模型(SLM)代理在长交互轨迹中出现的进展停滞问题,研究者提出Progress-Aware Distillation(ProD)方法。该方法通过检测和惩罚学生模型生成的停滞轨迹,将停滞差距编码为自适应边界,动态防止无效循环。实验表明,ProD在8个0.6B至8B参数的SLM上显著提升了任务成功率和完成效率。

    AI 选稿理由解决了SLM代理在长任务中的进展停滞瓶颈,使小型模型能更高效地完成复杂任务,适用于资源受限场景。

  3. The Decoder

    中国计划对开放权重模型和23项关键技术实施出口管制

    AI 导读中国计划对达到10^26 FLOPs或2万亿参数的AI系统模型权重、源代码和训练方法等23项关键技术实施出口限制。开放源码发布在注册后仍可快速获批,但此举可能促使西方公司更倾向于采用美国开放权重模型而非中国替代方案。

    AI 选稿理由中国首次将开放权重模型纳入出口管制范围,可能重塑全球AI技术竞争格局。

10月16日周五
  1. The Decoder

    谷歌Gemini 4 Argon在ARC-AGI-3基准测试中得分97.5%

    AI 导读Google Deepmind的Gemini 4 Argon在ARC-AGI-3基准测试中得分97.5%,成为继OpenAI后第二个突破95%大关的实验室。但在标准测试环境中,其得分降至49.8%。该模型在数学和软件工程领域仍落后于竞争对手。

    AI 选稿理由Gemini 4 Argon在特定基准测试中接近人类水平,展示了谷歌在AI前沿领域的最新进展。

  2. The Batch · AI 研究与应用

    The Batch 第375期:Claude Haiku 5.5 与 Mistral Large 4 发布,本地 AI 硬件与数据配比研究

    AI 导读本期主要围绕三条线索:Anthropic 发布 Claude Haiku 5.5 并回顾 Sonnet 5.5,独立评测显示 Haiku 5.5 智能指数 43 排第 13、速度最快,但成本与延迟随推理等级大幅变化;Mistral 发布 1.05 万亿参数 MoE 模型 Large 4 的 API 预览,在 CyberGym-E2E-AA 上以 82% 居公开模型首位,权重将随后开放;Apple、Nvidia、Microsoft 推出面向本地 AI 的桌面与笔记本,Tom's Hardware 用 AgentPerf-Local 测试表明 Nvidia 硬件快于 Apple 与 AMD。此外,清华、蚂蚁与人大提出 CausalMix,用因果方法将数据配比与数据质量分离来优化微调数据选择。

    AI 选稿理由Mistral Large 4 成为中美国之外最强开源权重候选并在漏洞修复任务领先,Claude Haiku 5.5 刷新速度与价格结构,本地硬件与 CausalMix 分别为端侧部署和数据配比提供了可复用的量化参考。

  3. The Decoder

    神经网络可解释性研究获突破进展,90%神经元功能明确

    AI 导读最新研究表明神经网络可能比研究人员想象的更容易解读,约90%的神经元具有明确功能。这一发现对AI安全研究具有重要意义,可直接在模型电路中发现欺骗或危险行为。研究人员仍在辩论这一论点是否成立。

    AI 选稿理由神经网络可解释性研究取得实质性突破,为AI安全监控提供新方向。

  4. Hugging Face Blog79

    NVIDIA发布印度语言预训练数据集:2.8万亿tokens与开放数据生成管道

    AI 导读NVIDIA与IIT Madras合作发布Nemotron-pretraining-Indic-v1数据集,包含约2.8万亿tokens,覆盖22种印度语言,并开放GPU加速的数据生成管道。该数据集结合了原生脚本和罗马化文本,通过四阶段翻译、质量评估和修复流程生成,已在Nemotron 3.5 Super VL模型上验证效果,在多个印度语言知识推理基准测试中取得4.98-9.82百分点的提升。

    AI 选稿理由原文提供了2.8万亿token的印度语言数据集规模和开放生成管道,读者可据此评估其对多语言AI模型开发的实际价值。

  5. Hugging Face · 每日论文

    MOSS-Image 技术报告:5B 开源文生图模型,长文本渲染覆盖率达 96.3%

    AI 导读MOSS-Image 是一个开源生成系统,从零预训练 5B 单流扩散 Transformer(DiT),支持中英双语长文本渲染与精确布局控制;同时提出意图感知的 Agent 式提示增强模块,将用户请求转为内容与布局规格。作者还发布 LongLongTextBench 与 RealLayoutArena 两个评测基准:MOSS-Image 在 LLTB 上开源模型第一,平均文本覆盖率 96.3%;在 RLA 端到端系统对比中排第二,其骨干模型在使用统一增强提示的生成器对比中排第一。团队表示将公开模型、训练配方与评测框架。

    AI 选稿理由开源权重文生图模型在密集文字和复杂版式上长期落后于闭源系统,该工作给出了可复现的 5B 预训练配方和两个长文本/布局评测基准,96.3% 的文本覆盖率让海报、图表类图文生成更接近可直接使用。

  6. Hugging Face · 每日论文

    什么是混合离散-连续规划的良好符号?

    AI 导读研究提出基于求解器充分性的符号化方法,通过反例引导算法发明符号,在分段仿射系统和神经网络优化目标中验证,可降低求解成本并保持解质量,同时提升可解释性和可控性。

    AI 选稿理由提出求解器充分性符号化概念及反例引导算法,适用于机器人规划和连续优化问题。

  7. Nature Machine Intelligence · 研究

    Nature机器智能:1万单元离子电子皮肤实现每秒100帧并行触觉感知

    AI 导读研究提出一种神经分层离子电子皮肤,密度达1110单元/平方厘米、规模超10000单元,模仿人类感觉系统的分层处理架构,通过信号编码、汇聚与认知建模逐层传输交互信息。基于频率的位置编码让离子电子传感器实现并行传输,抑制串扰并达到每秒100帧,后端汇聚压缩将带宽消耗降低数百倍。搭载该皮肤的人形机器人可完成分辨300微米表面特征的精细触觉交互,并对伤害性刺激做出自我保护反应。

    AI 选稿理由为大规模高时空分辨率触觉系统提供了可扩展的并行读出方案,使机器人能分辨300微米级表面细节并具备伤害感知自保护能力,可用于人形机器人的精细操作与安全交互。

  8. Hugging Face · 每日论文

    PPMem:用平面基元为视频世界模型构建持久3D记忆

    AI 导读研究者提出 PPMem,将平面基元作为视频世界模型的持久3D记忆,每个基元仅需7个参数。它在视频扩散Transformer上增加平面预测头和Depth Token Fusion模块,使自回归生成的每一段同时输出RGB视频与平面几何,并合并为持久平面记忆,通过渲染深度约束后续生成。该记忆比逐像素点云紧凑约三个数量级(约10万个基元、整场景5MB),且具备度量深度、法线和可导出表面。在DL3DV和RealEstate10K上,PPMem的视频质量优于此前的3D接地世界模型,并能在大视角变化下维持数百帧的连贯性。

    AI 选稿理由用平面基元把视频世界模型的3D记忆压缩到约5MB并保留度量深度与可导出几何,为长视频生成和场景探索提供了更可扩展的记忆表示。

  9. Hugging Face · 每日论文

    基于能力的逻辑推理评测:GPT与Qwen六款模型在排序任务上未通过能力一致性检验

    AI 导读论文提出能力基评测(CBE)范式,用参数化生成器在固定所需能力的前提下扩展复杂度,并用答案保持不变的表述变体检验模型是否可靠应用同一能力。在小学排序任务上对六款GPT和Qwen模型测试:有界复杂度范围内表现尚好,但强模型在测试问题族上均未通过能力条件;思维链和GRPO能扩展强表现但未解决全部失败,监督LoRA在留出集上迁移很少。

    AI 选稿理由提出可随模型扩展的能力一致性评测协议,在六款GPT/Qwen排序任务上给出诊断结果,并报告CoT、GRPO与LoRA的对比效果。

  10. Hugging Face · 每日论文

    Transformer的条件无毛定理:语言模型如何遗忘提示词

    AI 导读研究显示,自回归Transformer模型在生成t个token后,提示词对隐藏状态的影响呈幂律衰减t^{-α},训练后的模型遗忘较快(α≈0.55-0.7),未训练模型遗忘较慢(α≈0.2-0.5)。研究证明了有限深度预归一化softmax Transformer的遗忘界限,并提出了'条件无毛定理':随着生成文本增长,提示词对下一个token的影响会消失,任何保留的提示词属性必须由文本本身携带。

    AI 选稿理由揭示了Transformer模型中提示词遗忘的数学机制,为理解语言模型记忆特性提供了理论基础,有助于改进提示工程和模型设计。

  11. Hugging Face · 每日论文

    Huginn 架构新研究:循环模型设计需解耦拓扑、输入注入与循环状态

    AI 导读该研究将循环语言模型中的循环位置、输入注入方式与循环状态组织三个设计维度解耦,在相同参数规模、逻辑深度和 token 预算下从头训练模型对照。结果显示 prelude-recurrent block-coda 三明治架构在上下文提取和推理任务上稳定更优,输入注入主要提升知识检索与上下文利用,随机初始化和分离 H/L 循环状态收益混合甚至为负。在 730M 参数、336B token 规模下,完整 Huginn 架构在全部十项基准上超过 Ouro,且该优势可迁移到 MoE 模型。

    AI 选稿理由为循环模型设计提供了可复用的解耦实验结论:Huginn 风格在 8BA0.8B MoE 上用 75% 更少的常驻参数即可超过 112 层前馈基线,并覆盖知识、推理和编码任务。

  12. Hugging Face · 每日论文

    语言模型学习改进语言模型

    AI 导读研究提出LM2LM方法,通过强化训练大语言模型生成有效的语言模型改进方案。使用研究世界模型(RWM)提供可扩展反馈,并定期执行高排名提案以保持反馈可靠性。在八个自回归和扩散语言模型开发环境中,LM2LM使Qwen3.8-27B超越GPT-6-sol,即使后者拥有300个真实实验记录,且数据生成成本降低33%。该方法还能推广到训练期间未见过的模型家族。

    AI 选稿理由LM2LM实现了语言模型自我改进的高效方法,通过研究世界模型降低数据生成成本33%,并在多种模型开发环境中超越现有模型。

  13. Hugging Face · 每日论文

    QD-Rec:通过质量多样性实现推荐系统的开放式进化

    AI 导读研究人员提出QD-Rec方法,将开放式搜索与基础模型结合应用于推荐系统,为决策者提供多样化且高质量的推荐选项,每个选项附带自然语言解释。该方法在并购、客户目标定位及论文书籍推荐等场景中,多数情况下实现了最高的平均质量并构建了最大的推荐档案库。

    AI 选稿理由QD-Rec解决了传统推荐系统仅提供单一排序列表的局限,为高风险决策场景提供了多样化且附带解释的推荐选项,提升了决策质量。

  14. Hugging Face · 每日论文

    LILIE:用语言信息损失改进视觉生成,JiT 模型 gFD 降低 14 点

    AI 导读论文提出 LILIE(语言信息无损图像编码器),一种可逆图像变换,通过归一化流 Transformer 与视觉-语言模型联合训练,使 VLM 能从加噪特征中恢复描述文本。研究者用 LILIE 损失训练 JiT 模型,在 GPIC 数据集上相比纯像素损失基线将 gFD 从 66.84 降至 53.01。代码、编码器与生成模型已开源。

    AI 选稿理由提出语言信息监督的可逆图像编码器 LILIE,在 GPIC 数据集上将 JiT 模型 gFD 从 66.84 降至 53.01,相比像素损失基线降低 14 点,并开源代码与模型。

  15. Hugging Face · 每日论文

    OfficeTown:用生成式组织模拟训练更通用的 AI Agent

    AI 导读研究者提出 OfficeTown,一个面向专业组织的生成式模拟框架:根据组织的目标和活动描述自动初始化组织,成员协调工作、把有限任务委派给助手 Agent 并评审交付物,产出物、决策和未决事项会持续影响后续工作,职责与权限决定成员可见和可做的范围。团队构建了包含 23 个模拟组织、8 个专业领域、406 项任务和 4836 条评估标准的 OfficeTown Bench。前沿模型评测显示仍有较大提升空间;用 OfficeTown 数据做监督微调和同策略蒸馏后,Qwen3.5-9B 在 GDPval 等外部专业工作基准上显著提升,主从式 harness 也优于单/多 Agent 基线。

    AI 选稿理由为通用 Agent 提供了带有组织记忆、权限与评审反馈的可执行训练与评测环境,其数据可迁移提升模型在 GDPval 等外部专业工作基准上的表现。

  16. Hugging Face · 每日论文

    TreeOPSD:面向长程智能体强化学习的树感知后验自蒸馏框架

    AI 导读论文提出 TreeOPSD,一种无需 critic、树感知的后验自蒸馏框架,用于长程智能体强化学习。该方法将每个交互轮视为树节点,从共享前缀分支出替代延续,并递归地把终端奖励回传为隐式轮级信用,再映射为以相对冻结行为策略似然比为参数的闭式有界教师分布。实验显示其在多个基准和模型规模上提升智能体能力,Qwen3-30B-A3B-Thinking-2507 在 Deep Research 设置下平均准确率较 GRPO 提升 4.97 分。

    AI 选稿理由为长程智能体 RL 提供了无需价值网络和步骤标注的轮级信用分配方法,并用有界教师分布约束多轮小批量更新,可用于提升深度研究等长程任务的训练稳定性与效果。

  17. Hugging Face · 每日论文

    N-Gram Memories at Two Bits: 量化大型语言模型中的查找表

    AI 导读研究提出Conditional Program (CP)压缩表示方法,通过短码和局部尺度重建输入请求的行,仅需两比特编码即可将输出KL降低41-63%。在三个训练的n-gram记忆家族中,共享格子在匹配存储预算下优于测试的拟合码本和低秩残差变体,将DeepSeek的表存储从203GB减少到51GB。

    AI 选稿理由解决了大型语言模型中嵌入表存储瓶颈问题,显著降低存储需求同时保持模型性能,使更多工作负载可驻留在GPU上。