高效且可扩展的单目人物-物体交互动作运动重建
计算机视觉与模式识别
2026-03-20 v3
摘要
广义机器人必须从多样化的大规模人物-物体交互 (HOI) 中学习，以在真实世界中稳健地运行。单目互联网视频提供了近乎无限且 readily available 的数据源，捕捉了难以置信的人类活动、物体和环境的多样性。然而，从这些野生视频中准确且可扩展地提取 4D 交互数据仍是一个显著且未解之难。为克服标注瓶颈，我们引入一种高效稀疏接触标注范式。为扩展此过程，我们开发了 InterPoint，一个多模态预测器，驱动人类在环数据引擎。基于这些高效获取的标注，我们引入 4DHOISolver，一种新颖的优化框架，约束病态的 4D HOI 重建问题，保持高时空一致性和物理可行性。利用该框架，我们引入 Open4DHOI，一个新的大规模 4D HOI 数据集，特点是包含 135 种物体类型和 133 种动作的多样化目录。此外，我们通过使 RL 基的智能体能够模仿恢复的运动，证明了重建的有效性。数据和代码将公开于 https://github.com/wenboran2002/open4dhoi_code。
引用
@article{arxiv.2512.00960,
title = {Efficient and Scalable Monocular Human-Object Interaction Motion Reconstruction},
author = {Boran Wen and Ye Lu and Sirui Wang and Keyan Wan and Jiahong Zhou and Junxuan Liang and Xinpeng Liu and Bang Xiao and Ruiyang Liu and Yong-Lu Li},
journal= {arXiv preprint arXiv:2512.00960},
year = {2026}
}