Hugging Face · 每日论文· 媒体 / 作者来源·精选
JCA：为任意骨骼绑定同时生成3D动作与视频
原文标题
Joints, Camera, Action! Co-Generating 3D Motion and Video for Arbitrary Rigs
AI 导读
NVIDIA研究团队提出Joints, Camera, Action!（JCA）模型，可为任意给定的骨骼绑定（rig）同时生成视频与可回放的3D动作，并估计相机将动作配准到场景。方法将3D动作保留在独立模型中，通过少量交叉注意力层连接预训练视频模型；模型还学习在视频帧中定位每个关节以恢复相机。借助生成式视频编辑器布置动画3D资产，团队整理出近20万对训练数据（含人与机器人视频）。评测显示该模型从文本驱动多样骨骼比视频优先管线更忠实，动作会响应周围场景，且支持视频转骨骼动作、骨骼动作转视频及基于关键帧的3D动作控制。
来源：Hugging Face · 每日论文 · arxiv.org
导读与选稿说明
提出首个支持任意骨骼绑定的视频与3D动作协同生成方法，通过分离式架构与关节定位恢复相机，用近20万训练对实现可回放、场景响应的3D动作生成及双向转换。
导读由模型辅助整理，非独立核验。完整信息见原文。