面向交互手的3D可见性感知可泛化神经辐射场
计算机视觉与模式识别
2024-01-03 v1
摘要
神经辐射场（NeRFs）是用于场景、物体和人类的有前景的3D表示。然而，大多数现有方法需要多视角输入和逐场景训练，这限制了它们的实际应用。此外，当前方法专注于单主体情况，而涉及严重手间遮挡和具有挑战性的视角变化的交互手场景仍未解决。为解决这些问题，本文提出了一种可泛化的可见性感知NeRF（VA-NeRF）框架用于交互手。具体来说，给定一张交互手的图像作为输入，我们的VA-NeRF首先获得基于网格的手部表示，并提取其对应的几何和纹理特征。随后，引入了一个利用查询点和网格顶点可见性的特征融合模块，以自适应地合并两只手的特征，从而能够恢复未见区域的特征。此外，我们的VA-NeRF与一个新颖的判别器在对抗学习范式下共同优化。与预测合成图像单个真实/虚假标签的传统判别器不同，所提出的判别器生成逐像素的可见性图，为未见区域提供细粒度监督，并鼓励VA-NeRF提高合成图像的视觉质量。在Interhand2.6M数据集上的实验表明，我们提出的VA-NeRF显著优于传统NeRF。项目页面：\url{https://github.com/XuanHuang0/VANeRF}。
引用
@article{arxiv.2401.00979,
title = {3D Visibility-aware Generalizable Neural Radiance Fields for Interacting Hands},
author = {Xuan Huang and Hanhui Li and Zejun Yang and Zhisheng Wang and Xiaodan Liang},
journal= {arXiv preprint arXiv:2401.00979},
year = {2024}
}
备注
Accepted by AAAI-24