SyncMV4D：外观与运动同步的多视角联合扩散用于手-物交互合成
计算机视觉与模式识别
2026-03-09 v2
摘要
手-物交互（HOI）生成在推动动画和机器人等应用的发展中起着关键作用。当前基于视频的方法主要是单视角的，这阻碍了全面的三维几何感知，并常导致几何失真或不自然的运动模式。虽然基于三维的 HOI 方法可以生成动力学上合理的运动，但其依赖在受控实验室环境中采集的高质量三维数据，严重限制了其向真实场景的泛化能力。为克服这些限制，我们提出了 SyncMV4D——首个通过统一视觉先验、运动动力学和多视角几何来联合生成同步多视角 HOI 视频和四维运动的模型。我们的框架包含两个核心创新：（1）一个多视角联合扩散（MJD）模型，用于共同生成 HOI 视频和中间运动；（2）一个扩散点对齐器（DPA），将粗中间运动细化为全局对齐的四维度量点轨迹。为紧密耦合二维外观与四维动力学，我们建立了一个闭环的相互增强循环。在扩散去噪过程中，生成的视频条件化四维运动的细化，而对齐的四维点轨迹被重新投影以引导下一步的联合生成。实验结果表明，我们的方法在视觉真实感、运动合理性和多视角一致性方面优于现有先进方法。
引用
@article{arxiv.2511.19319,
title = {SyncMV4D: Synchronized Multi-view Joint Diffusion of Appearance and Motion for Hand-Object Interaction Synthesis},
author = {Lingwei Dang and Zonghan Li and Juntong Li and Hongwen Zhang and Liang An and Yebin Liu and Qingyao Wu},
journal= {arXiv preprint arXiv:2511.19319},
year = {2026}
}
备注
The structure and logic of writing will undergo a complete revision