Hugging Face · 每日论文· 媒体 / 作者来源·精选
HRoPE:用平面单应性为多视角Transformer注入表面级位置编码
原文标题
HRoPE: Homography Relative Positional Encoding
AI 导读
论文提出HRoPE,把每个patch的局部几何表示为倾斜3D平面,并将token级、由平面诱导的单应性作为相对变换注入注意力,从而在视角间校正透视畸变、对齐patch特征。该方法无需真值几何,平面参数可在视角合成目标下端到端预测,也可由基础模型导出。在RealEstate10K、CO3Dv2和DL3DV上的新视角合成实验中,最佳变体持续优于所评估的几何位置编码。
来源:Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
提出表面感知位置编码,把patch平面单应性注入注意力,在三个新视角合成数据集上验证优于现有几何位置编码,且不需要真值几何。
导读由模型辅助整理,非独立核验。完整信息见原文。