Hugging Face · 每日论文· 媒体 / 作者来源·精选
虚拟世界中的扩展规律：120组实验研究具身智能体持续预训练
原文标题
Scaling in Games: Continued Pre-Training For Embodied Agents In Diverse Virtual Worlds
AI 导读
研究团队用120种训练配置，系统考察持续预训练在数据量、数据多样性和模型规模三个维度上的影响：模型从0.8B到27B共四档，数据预算从50到1600小时共六档，数据混合从只用Minecraft扩展到多世界语料共五类。结果显示：数据越多，同语料世界内表现越好；多样性有助于迁移到相关世界，但对差距很大的世界提升有限；单一世界训练下，增大模型能提高数据效率，但对远处世界的泛化反而更差。作者还拟合了验证损失与这三个变量之间的经验扩展律。模型在3D世界中与Minecraft专家模型和前沿模型水平相当。作者指出，仅靠持续预训练仍不足以构建通用具身智能体。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
用120组受控实验给出数据量、多样性、模型规模对虚拟世界具身预训练的扩展律与泛化边界，结论可用于设计训练阶段。
导读由模型辅助整理，非独立核验。完整信息见原文。