跳到正文
/阅读与研究

外观

快速抵达

↑ ↓ 选择 · Enter 打开 · Esc 关闭MyHOT

数据与训练

全部主题
主题资料

训练侧的门道:数据集构建、合成数据、预训练与后训练方法、算力与训练成本。

214 篇文章

最新文章

第 41–60 条 · 共 214 条
10月21日周三
  1. Hugging Face · 每日论文

    Think Harder Where It Matters: Item-Level Adaptive Recursion for Sequential Recommendation

    AI 导读研究提出LoopRec方法,针对序列推荐系统中不同项目计算需求不均匀的问题,引入轻量级门控机制实现项目级自适应递归。该方法将固定全局深度转化为学习到的每项属性,在四个骨干架构的公共基准测试中,一致优于固定深度对应模型。分析显示,低频项和近期交互自然获得更深计算。

    AI 选稿理由LoopRec通过项目级自适应递归优化序列推荐计算效率,提升推荐质量,适用于各类推荐系统架构。

  2. Hugging Face · 每日论文

    FCP 辅助目标让自回归视频生成更好建模场景演变

    AI 导读论文指出,在教师强制下,自回归视频扩散模型容易依赖局部视觉连续性来去噪当前片段,未必真正学会场景如何演变。作者提出 Future Chunk Prediction(FCP):在教师强制去噪之外,同时预测与当前相隔一段时间、且看不到中间视觉上下文的片段。该方法直接从训练视频取监督,不需要额外的预训练视觉编码器,也不改变自回归推理。结果显示,在总体训练计算量更低的情况下,其物理合理性优于标准教师强制训练;可视化还显示,表示空间更有结构,作者认为这可能有助于构建自回归世界模型。

    AI 选稿理由论文给出可复用的训练目标,删除视觉演变捷径,在不增加推理改动、降低训练算力下提升物理合理性,属视频世界模型研究进展。

  3. Hugging Face · 每日论文

    PACE:周期性与通道对齐的四位循环状态编码

    AI 导读研究团队提出PACE方法,通过周期性而非每token量化循环状态,结合通道对齐共享量化尺度,在4B至35B参数的混合模型上,使用四位和八位混合量化,内存占用约为DAMP的三分之二,性能相当;全四位量化在相同内存下优于Q-Mamba,且周期性量化保持了解码速度优势。

    AI 选稿理由PACE通过减少量化频率和通道对齐优化,在降低内存占用的同时保持了模型性能,适用于线性注意力语言模型的推理优化。

  4. Hugging Face · 每日论文

    Harness Scaling:把执行配置多样性变成Agent强化学习的新扩展维度

    AI 导读论文提出Harness Scaling,不再只用固定harness训练Agent,而是构建因子化harness空间,选覆盖均衡的小训练子集,组织跨harness训练。在多基准、不同模型规模和RL算法下,对未见白盒配置的泛化稳定提升;经结构化白盒变化训练的模型也能迁移到未见的外部黑盒harness,优于用单一复杂黑盒harness训练的模型。

    AI 选稿理由论文给出一种可操作的Agent RL训练方法:通过有组织的harness多样性提升跨执行配置泛化,并在多基准、多模型规模和多种RL算法下验证;实验结论限于所测白盒与黑盒harness范围。

  5. Hugging Face · 每日论文

    Looped Uniform Diffusion Language Models:循环提升扩散语言模型训练效率

    AI 导读研究团队在保持训练目标和采样器不变的情况下,将选择性循环应用于均匀扩散语言模型(UDLMs),显著提高了训练效率。循环UDLMs仅需约0.5万亿token训练量即可达到非循环UDLMs在1万亿token训练量下的验证NLL,在OpenWebText和FineWeb-Edu数据集上分别节省2.8倍和3.3倍训练FLOPs。在匹配NFE预算下,循环UDLMs生成困惑度降低最高达9.8%,且采用非均匀循环计数策略可进一步减少12%的循环次数而不降低准确率。

    AI 选稿理由该研究通过循环技术显著提升了扩散语言模型的训练效率,在保持模型性能的同时大幅减少了计算资源需求,适用于大规模语言模型训练优化。

  6. Hugging Face · 每日论文

    FRED框架提升机器人未来视频表示质量

    AI 导读研究团队提出FRED框架,通过自蒸馏方法改进World Action Models(WAMs)中未来视频表示的质量。该框架利用真实未来观测作为目标,从噪声中预测未来表示,并结合历史观测提供时间上下文。在多样化实际操作场景中,FRED在长时程和跨域任务上显著优于现有WAMs,将人类到机器人的技能转移成功率从19.4%提升至50.0%。

    AI 选稿理由FRED框架通过自蒸馏方法显著提升了机器人未来视频表示质量,在长时程和跨域任务上实现零样本泛化,并大幅提高人类到机器人的技能转移成功率。

  7. Hugging Face · 每日论文

    物理AI中的递归自改进研究

    AI 导读研究探讨了递归自改进(RSI)在物理AI中的应用,分析了如何通过物理经验强化改进机制,并总结了现有研究的评估原则和未来研究方向。研究指出,物理环境中的RSI需要处理部分观察、高成本试验和不可逆后果等挑战,现有研究主要集中在操作领域,支持行为改进、后续学习和程序改进,但尚未完全隔离递归带来的增益。

    AI 选稿理由该研究系统分析了递归自改进在物理AI中的实现路径和挑战,为机器人学习领域提供了评估原则和研究方向。

  8. Hugging Face · 每日论文

    Foundation4D:统一多相机驾驶视频的感知与重建模型

    AI 导读研究提出前馈模型 Foundation4D,用共享骨干和分解式时空注意力,从多相机驾驶视频同时完成几何估计、3D 检测、语义占用与高斯重建;视频推理用位姿图优化细化相机轨迹并拼接目标轨迹。团队还发布含 1253 段驾驶片段的 PAI-Foundation4D 基准。按基准微调后,在 Waymo 和 nuScenes 取得最低深度 AbsRel,nuScenes 检测 mAP 最高,OpenOccupancy 占用 mIoU 最高。联合训练使检测 top-class mAP 提升 1.2 点,几何与检测共训把相机到支架平移误差降低 13.4%。预测几何与轨迹还作为无激光雷达 NuRec 的先验。

    AI 选稿理由新论文给出多任务驾驶感知与重建的统一前馈模型,并在 Waymo、nuScenes、OpenOccupancy 报告深度、检测、占用指标及联合训练增益,附 1253 段驾驶片段的标注基准。

  9. Hugging Face · 每日论文

    FrontierCS 2:计算机科学研发基准测试

    AI 导读研究团队推出FrontierCS 2基准测试,包含48个开放性任务,评估LLM代理对计算机科学前沿研发的贡献。该基准将代理置于研究环境中,继承工作仓库并随时提交补丁,最终在13个领域评估表现。测试了12个代理,Claude Opus 5.5表现最佳,通过58%的运行,但16个任务无任何运行通过。

    AI 选稿理由FrontierCS 2是首个将LLM代理置于真实研究环境中的计算机科学研发基准,覆盖13个领域,为评估AI在科研中的能力提供了新标准。

  10. AWS Machine Learning Blog

    i14用原生PyTorch在AWS Trainium2上训练和部署Laplace 3B线性注意力模型

    AI 导读i14的Laplace 3B模型采用门控线性注意力(GLA)替代softmax注意力,推理时循环状态固定为每条序列29.5 MB,不随上下文增长。AWS团队用TorchNeuron Native将模型移植到Trainium2,保留了GLA设计和Muon优化器。单台trn2.48xlarge训练吞吐约12万token/秒,推理在1280并发序列下达到每秒11544个输出token。文章介绍了模型设计、移植中的三项修改及性能数据。

    AI 选稿理由给出了线性注意力模型在Trainium2上的具体移植方法(GLA核重写、Muon通信优化、反向图展开)及训练/推理吞吐数据,适合关注模型架构与部署工程的读者参考。

  11. AWS Machine Learning Blog

    在 Amazon SageMaker HyperPod 上微调 GPT-OSS-20B 实现多语言推理:SFT 与 GRPO 的取舍

    AI 导读基座 GPT-OSS-20B 在 50 例多语言推理测试中仅 22% 按目标语言推理(英 100%、法/西/意 0%、德 10%)。作者在 SageMaker HyperPod 上用 LoRA 微调,结论是 SFT 完成主要工作,GRPO 只在有能力提升空间时起作用;另用 Qwen2.5-7B 做对照实验验证该规律。

    AI 选稿理由给出了 SFT 与 GRPO 何时各自动手的可复用判断标准和完整训练栈配置,帮助团队针对非英语用户定制开源推理模型。

  12. AWS Machine Learning Blog

    Octave 在 Amazon Bedrock 上构建安全多租户 AI 基础,嵌入 20 亿份文档

    AI 导读Octave 为 14000 多家受监管行业客户的质量管理平台 Reliance 构建了多租户 AI 基础。团队把所有租户的隔离要求作为前提,用 Amazon Bedrock 上的 Cohere Embed v4 完成 20 亿份文档的嵌入,并把向量存储按租户隔离到 OpenSearch Service;执行层通过 Bedrock AgentCore Gateway 和隔离 microVM 调用 Claude,前后两次经过 Bedrock Guardrails 过滤。该基础已将每个用例的部署时间缩短 50%。

    AI 选稿理由文章完整给出了受监管 SaaS 平台在租户数据严格隔离、不可信内容进入和超大规模嵌入三方面的解决办法,包括逐租户向量库、按用户权限执行 Agent 和输入与输出双重过滤,可作为同类多租户 AI 平台的工程参考。

  13. Hugging Face Blog

    FairStress:评估LLM决策中人口公平性的新基准

    AI 导读Hugging Face推出FairStress基准,用于测量大语言模型在人口公平性方面的表现,超越传统仅关注最终决策的方法。该基准包含300个现实场景,测试模型在面对不同人口身份和对抗性前提时的决策稳定性,发现模型在多数群体身份候选者被挑战时更可能放弃正确决策,表现出反刻板印象过度纠正现象。

    AI 选稿理由FairStress解决了传统公平性评估无法捕捉模型决策过程中隐藏偏见的问题,为AI开发者提供了测量模型对称公平性的工具,有助于构建更公平的AI系统。

  14. AWS Machine Learning Blog

    AWS与Keyfactor合作推出基于X.509 PKI的AI代理身份安全解决方案

    AI 导读AWS与Keyfactor联合发布参考架构,通过X.509公钥基础设施(PKI)为AI代理提供身份验证,解决多代理AI框架中缺乏内置认证标准的问题。该方案使用签名请求信封、用户签名委托断言、作用域令牌和OCSP实时撤销检查四种机制,结合Amazon Bedrock等服务,确保代理访问数据库和API时的身份安全。

    AI 选稿理由解决了AI代理在多代理框架中缺乏身份验证的安全瓶颈,为企业提供了可验证、可撤销的短期凭证解决方案。

10月20日周二
  1. AWS Machine Learning Blog

    AWS与Denodo合作构建面向代理式AI的语义层,整合多云数据源

    AI 导读AWS博客介绍如何使用Denodo平台和Amazon Bedrock AgentCore构建代理式AI应用的语义层,实现对企业多云数据的统一访问。该方案整合了Amazon Aurora、Amazon Redshift和本地PostgreSQL数据库,通过Denodo的VQL语言提供实时数据访问,并通过MCP协议向代理暴露受控视图,确保数据安全与隐私。

    AI 选稿理由解决了企业多云数据源整合与安全访问的瓶颈,使AI代理能够实时查询分散在不同环境中的企业数据,无需数据迁移。

  2. AWS Machine Learning Blog

    AWS与Strategy Mosaic合作构建基于语义层的代理AI系统

    AI 导读AWS与Strategy合作,使用Strategy Mosaic作为语义层,通过Amazon Bedrock AgentCore运行Strands代理,实现跨Amazon Redshift和Aurora的客户360视图。该系统支持MCP协议、JDBC/ODBC、XMLA和REST四种原生协议,无需ETL即可连接多种数据源,并实现端到端的行级和对象级安全。

    AI 选稿理由解决了企业AI代理跨多数据源进行语义推理的难题,支持实时数据联邦和统一业务指标定义,降低了复杂查询的开发难度。

  3. Hugging Face · 每日论文

    OverSeer:用固定辅助视角提升多智能体世界模型的一致性

    AI 导读论文提出多智能体世界模型OverSeer,在智能体第一视角之外加入空间固定的辅助摄像机视角,作为世界中心表征的代理,使视角变化直接对应世界状态的局部变化。辅助视角因冗余半静态特性可用delta-VAE仅编码相对静态参考图的变化来压缩token。Minecraft与Doom实验显示世界与智能体一致性提升,真实多相机采集的定性结果表明方法不限于游戏引擎,压缩分析显示计算开销显著降低。

    AI 选稿理由提出固定辅助视角加delta-VAE压缩的多智能体世界模型方法,在Minecraft、Doom及真实多相机数据上验证一致性提升与计算开销降低。

  4. Hugging Face · 每日论文

    构建AI研究团队自主发现线性注意力架构

    AI 导读研究团队提出由不同学科背景的AI研究员组成的协作团队,通过保持独立研究历史、共享实验证据和自适应分配研究机会,在有限实验预算下持续发现新架构。该团队在1.3B规模线性注意力架构搜索中,于语言建模、常识推理和检索任务上超越GDN2模型。移除任何组织组件都会显著降低发现效果。

    AI 选稿理由提出多学科AI研究团队协作机制,在有限预算下实现持续科学发现,实验证明不同背景、独立历史和自适应分配对突破局部最优至关重要。

  5. Hugging Face · 每日论文

    DecisionPivot基准:40个决策模型在对比组准确率上差距显著

    AI 导读研究团队发布DecisionPivot诊断基准,含48项任务、40033条数据,覆盖七类决策角色,核心轨道7800条来自13个生成任务族并组织成对比组。评测40个决策模型和14个通用模型后发现,参考轨道上仅差2.6分的两个27B模型,对比组准确率分别为70.1%和44.2%;Perplexity Decider在2400对二选一中概率排序正确率92.3%,但两项都答对仅74.1%。

    AI 选稿理由新基准将LLM系统内决策模型的评估从单项准确率扩展到对比组、校准与选择性覆盖,并给出多项模型间的具体差异数据,适用于研究LLM路由与护栏评估的读者。