从单目RGB视频进行手持3D物体重建
计算机视觉与模式识别
2023-12-29 v1
摘要
我们的工作旨在从静态RGB摄像机前手持并旋转的物体重建3D物体。先前使用隐式神经表示从多视角图像恢复通用手持物体几何的方法在物体可见部分取得了令人信服的结果。然而，由于遮挡，这些方法在手-物接触区域难以准确捕捉形状。本文提出一种新方法，通过引入2D遮挡阐明先验和物理接触约束来处理遮挡下的表面重建。对于前者，我们引入一个物体非完整分割网络来推断遮挡下物体的2D完整掩码。为确保预测的2D非完整掩码的准确性和视角一致性，我们设计了一种联合优化方法，同时进行非完整掩码精炼和3D重建。对于后者，我们在接触区域的局部几何上施加穿透和吸引约束。我们在HO3D和HOD数据集上评估了我们的方法，并证明其在重建表面质量上优于最先进的方法，在HO3D上提升52%，在HOD上提升20%。项目网页：https://east-j.github.io/ihor。
引用
@article{arxiv.2312.16425,
title = {In-Hand 3D Object Reconstruction from a Monocular RGB Video},
author = {Shijian Jiang and Qi Ye and Rengan Xie and Yuchi Huo and Xiang Li and Yang Zhou and Jiming Chen},
journal= {arXiv preprint arXiv:2312.16425},
year = {2023}
}
备注
Accepted by AAAI2024