Hugging Face · 每日论文· 媒体 / 作者来源·精选
GlobeBench: 评估文本世界模型在可扩展环境模拟中的能力
原文标题
GlobeBench: Evaluating Text-Based World Model Capabilities for Scalable Environment Simulations
AI 导读
研究人员推出GlobeBench基准，包含5个领域、19种模拟技能的1632项任务，用于评估文本世界模型预测环境响应的能力。测试显示GPT-6 Astra成功率最高达49.57%，但当动作影响环境范围扩大时，模型平均成功率降至5.1%，631项任务无模型能解决，表明LLM作为世界模型存在显著能力差距。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
GlobeBench首次为文本世界模型提供标准化评估基准，揭示了当前模型在复杂环境预测中的局限性，为改进方向提供明确指引。
导读由模型辅助整理，非独立核验。完整信息见原文。