Ψ-0.6: Adaptive Streams of Thought in a Unified Vision-Language World Model

Hugging Face发布了一篇论文，介绍了一种名为Ψ-0.6的统一视觉-语言世界模型。该模型能够自适应地组合感知、语言、几何和模拟，通过共享的推理过程，即思维流，来生成和解释图像、文本、几何和运动的具体表示。Ψ-0.6在多视图空间推理方面超越了领先的开放权重模型，并支持反事实模拟，通过生成和解释想象场景来确定，例如移动一个物体是否会阻碍通道。通过任务反馈的强化学习共同优化了中间表示的选择、生成和使用，从而提高了视觉问答的准确性，并将这些收益转移到未见过的基准上。