ALPS:统一物理状态、语言对齐与像素重建的视觉状态编码器
研究者提出视觉状态编码器 ALPS,仅用静态图像与文本,以语言、重建和空间对应目标从零预训练 ViT-B/16,再用跨视角自蒸馏精调。在15个公开编码器的统一评测中,ALPS 的 LIBERO 状态探针聚合误差在 ViT-B 模型中最低,追平体积大3.5倍的 V-JEPA 2-L;冻结特征配合原生文本塔在 LIBERO 上策略平均成功率85.5%,在 PushT、Wall、Granular 的世界模型规划中持平或超过领先编码器,预测的未来 token 可直接解码成像素。
