Hugging Face · 每日论文· 媒体 / 作者来源·精选
ACT3D：让视觉语言模型在3D空间中主动探索并思考
原文标题
Learning to Think and Explore in 3D World
AI 导读
研究提出 ACT3D，不向视觉语言模型提供多视角图像、视频或3D表示，而是保持单张图像的原生视觉编码，将3D环境作为可交互空间，模型通过移动、转向等动作和渲染图像观察迭代推理并探索。经轨迹监督微调后，采用以最终答案正确性为主要奖励的强化学习，模型需自行学会探索策略。在六个3D基准上平均准确率53.2%，比基础Qwen模型高22个百分点，超过Gemini 3.6 Flash，且输入帧数减少50%–70%，在未见领域平均提升5.9%。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
证明仅用结果奖励的强化学习可让视觉语言模型学会何时、如何获取视觉证据，在需要大量探索的问题上相对基础模型提升16.3%，为3D空间中的具身问答与主动感知提供了可复用方法。
导读由模型辅助整理，非独立核验。完整信息见原文。