HandNeRF：从单张 RGB 图像学习重建手-物交互场景
计算机视觉与模式识别
2024-09-12 v5
摘要
本文提出一种学习手-物交互先验以从单张 RGB 图像重建三维手-物场景的方法。由于单张图像的深度模糊以及手与物体的遮挡，三维手-物场景重建的推断与训练数据生成具有挑战性。我们将此挑战转化为机遇，利用手形来约束手与物体几何的可能相对构型。我们设计了一个可泛化的隐式函数 HandNeRF，其显式编码三维手形特征与二维物体特征的相关性，以预测手与物体场景几何。通过在真实世界数据集上的实验，我们表明 HandNeRF 能比可比方法更准确地重建新颖抓取构型的手-物场景。此外，我们证明由 HandNeRF 进行的物体重建可确保更精确地执行下游任务，如用于机器人递手与操作的抓取与运动规划。主页：https://samsunglabs.github.io/HandNeRF-project-page/
引用
@article{arxiv.2309.07891,
title = {HandNeRF: Learning to Reconstruct Hand-Object Interaction Scene from a Single RGB Image},
author = {Hongsuk Choi and Nikhil Chavan-Dafle and Jiacheng Yuan and Volkan Isler and Hyunsoo Park},
journal= {arXiv preprint arXiv:2309.07891},
year = {2024}
}
备注
In ICRA 2024; 13 pages including the supplementary material, 8 tables, 12 figures