NCRF：用于手-物交互自由视点渲染的神经接触辐射场
计算机视觉与模式识别
2024-02-12 v2
摘要
手-物交互建模是三维计算机视觉中一项根本性的挑战任务。尽管该领域已取得显著进展，但现有方法仍无法逼真地合成手-物交互，其渲染质量因手与物体之间的严重相互遮挡以及不准确的手-物姿态估计而下降。为解决这些挑战，我们提出了一种新颖的自由视点渲染框架，即神经接触辐射场（NCRF），用于从稀疏视频集中重建手-物交互。具体而言，所提出的 NCRF 框架包含两个关键组件：(a) 一个接触优化场，该场从三维查询点预测准确的接触场，以实现手与物体之间理想的接触。(b) 一个手-物神经辐射场，用于在静态规范空间中学习隐式的手-物表示，并与专门设计的手-物运动场协同工作，以产生观测到规范的对应关系。我们联合学习这些关键组件，它们通过视觉和几何约束相互帮助和正则化，从而产生高质量的手-物重建，实现逼真的新视角合成。在 HO3D 和 DexYCB 数据集上的大量实验表明，我们的方法在渲染质量和姿态估计精度方面均优于当前最先进的技术。
引用
@article{arxiv.2402.05532,
title = {NCRF: Neural Contact Radiance Fields for Free-Viewpoint Rendering of Hand-Object Interaction},
author = {Zhongqun Zhang and Jifei Song and Eduardo Pérez-Pellitero and Yiren Zhou and Hyung Jin Chang and Aleš Leonardis},
journal= {arXiv preprint arXiv:2402.05532},
year = {2024}
}
备注
Accepted by 3DV 2024