ArtHOI：通过视频先验进行4D重建的人类-物体相互作用合成
计算机视觉与模式识别
2026-03-05 v1
摘要
在缺乏3D/4D监督的情况下合成符合物理规律的人类-物体相互作用（HOI）仍是根本性挑战。虽然最近的零样本方法利用视频扩散模型合成人类-物体相互作用，但它们主要局限于刚性物体操作，缺乏显式的4D几何推理。为弥合这一差距，我们将人类-物体相互作用合成形式化为从单目视频先验进行4D重建问题：仅给定由扩散模型生成的视频，我们在没有任何3D监督的情况下重建完整的4D人体-物体场景。这种基于重建的方法将生成的2D视频视为反渲染问题的监督，恢复几何一致且符合物理规律的4D场景，自然尊重接触、关节和时间一致性。我们引入ArtHOI，首个通过视频先验进行4D重建的人类-物体相互作用零样本框架。我们的关键设计包括：1）基于流的部分分割：利用光流作为几何线索在单目视频中分离动态与静态区域；2）解耦的重建管道：在单目歧义下，对人类运动和物体关节联合优化不稳定，因此我们首先恢复物体关节，然后在恢复的物体状态上条件化合成人类运动。ArtHOI连接视频生成与几何感知重建，产生既在语义上一致又在物理上可靠的相互作用。 在多样化的人体-物体场景（例如打开冰箱、橱柜、微波炉）中，ArtHOI 在接触精确性、渗透减少和关节保真度方面显著优于先前方法，扩展了通过重建感知合成的零样本相互作用 beyond 刚性操作。
引用
@article{arxiv.2603.04338,
title = {ArtHOI: Articulated Human-Object Interaction Synthesis by 4D Reconstruction from Video Priors},
author = {Zihao Huang and Tianqi Liu and Zhaoxi Chen and Shaocong Xu and Saining Zhang and Lixing Xiao and Zhiguo Cao and Wei Li and Hao Zhao and Ziwei Liu},
journal= {arXiv preprint arXiv:2603.04338},
year = {2026}
}
备注
Project Page: https://arthoi.github.io/