重建野外开放词汇人物-物体交互
计算机视觉与模式识别
2025-03-21 v1
摘要
从单张图像重建人物-物体交互（HOI）是计算机视觉中的基础任务。现有方法主要在室内场景下训练测试，受限于物体种类单一，难以泛化到实景场景。先前3D HOI 数据集的局限主要源于获取3D物体资产的困难。然而随着单图像3D重建技术的发展，近期已有可能从2D HOI图像中重建各种物体。因此，我们提出了从单张图像标注细粒度3D人物、物体及其交互的管道。我们从现有2D HOI数据集中标注了2500多条3D HOI资产，构建了第一个野外开放词汇3D HOI数据集Open3DHOI，用作未来测试集。此外，我们设计了一种新型的Gaussian-HOI优化器，能够高效重建人物与物体之间的空间交互，同时学习接触区域。除3D HOI重建外，我们还提出了若干新的3D HOI理解任务，为后续工作铺平道路。数据和代码将公开访问，链接为：https://wenboran2002.github.io/3dhoi。
引用
@article{arxiv.2503.15898,
title = {Reconstructing In-the-Wild Open-Vocabulary Human-Object Interactions},
author = {Boran Wen and Dingbang Huang and Zichen Zhang and Jiahong Zhou and Jianbin Deng and Jingyu Gong and Yulong Chen and Lizhuang Ma and Yong-Lu Li},
journal= {arXiv preprint arXiv:2503.15898},
year = {2025}
}
备注
Accepted to CVPR 2025