HOI 中的 Real2Sim：面向从单目视频恢复物理合理的 HOI 重建
计算机视觉与模式识别
2026-05-15 v1
摘要
从单目视频恢复 4D 人与物体交互（HOI）是实现可扩展 3D 内容创建、具身 AI 与基于仿真学习的关键步骤。近期方法能够重建时间连贯的人与物体轨迹，但当这些轨迹作为人形机器人与物体仿真的参考运动时，往往仍停留在视觉伪影层面，无法保持稳定的接触、功能性操作或物理合理性。这揭示了一个根本性的交互鸿沟：HOI 重建不应止步于追踪人与物体，而应恢复使二者运动构成连贯交互的关系。我们引入 ，一个从自然单目视频中重建物理合理的 4D HOI 动画的框架。我们提出 \textit{人优先、物跟随} 的建模方式，而非将人与物体视为模糊单目 3D 空间中的独立实体。人体运动被恢复为交互锚点，物体则相对于人体动作进行重建、对齐与精细化。由此得到的运动学轨迹随后被投射到基于物理的人形机器人与物体仿真中，作为稳定物理展开的教师轨迹。在基准视频与自然视频上， 在人物对齐、接触一致性、时间稳定性与仿真就绪度方面均优于先前的单目 HOI 重建方法。通过超越视觉合理的轨迹恢复、迈向物理奠基的交互动画，本研究向将一般单目 HOI 视频转化为人形机器人与物体行为的可扩展示范迈出了一步。项目页面：https://knoxzhao.github.io/real2sim_in_HOI/
引用
@article{arxiv.2605.14462,
title = {Real2Sim in HOI: Toward Physically Plausible HOI Reconstruction from Monocular Videos},
author = {Yubo Zhao and Yujin Chai and Yunao Dong and Chengfeng Zhao and Zijiao Zeng and Yuan Liu and Chi-Keung Tang},
journal= {arXiv preprint arXiv:2605.14462},
year = {2026}
}