Hugging Face · 每日论文· 媒体 / 作者来源·精选
HarnessRL让训练框架与策略共同演化，Rubric-Mix-10k上提升2.8至3.1分
原文标题
HarnessRL: Co-Evolving Policies with a Just-in-Time Training Harness for Open-Ended RL
AI 导读
论文指出基于自然语言评分标准的RL存在两类失效：分数因探索不足或难度不匹配而整体塌缩到高低一致，以及高分并不对应更好回答。HarnessRL通过任务采样、rollout引导和评分标准三个接口与策略共同演化，并用训练时记忆检索任务内外证据，由批评者在冻结策略上验证候选更新。在医疗、科学、写作、角色扮演和指令遵循五个领域的Rubric-Mix-10k上，4B和9B模型分别比最强基线高2.8至3.1分，达到最佳检查点的训练步数近乎减半。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
提出可复用的rubric奖励失效归因与just-in-time更新验证方法，并附五领域数据集，在4B/9B规模上给出2.8至3.1分提升与训练步数减半的实验结果。
导读由模型辅助整理，非独立核验。完整信息见原文。