基于稀疏视图的手-物交互新视角合成与位姿估计
计算机视觉与模式识别
2023-08-23 v1
摘要
在沉浸式通信中，手-物交互理解与极少被关注的新视角合成需求极高，但由于手部的高形变以及手与物体间的严重遮挡，该任务极具挑战。本文提出一种基于稀疏视图的手-物交互神经渲染与位姿估计系统，其亦可支持三维手-物交互编辑。我们从近期场景理解工作中获得启发：预先构建的场景特定模型可显著提升并解锁视觉任务，尤其在输入稀疏时；我们将此思路扩展至动态手-物交互场景，并提议分两阶段解决问题。在离线阶段，我们首先利用神经表示分别学习手与物体的形状及外观先验知识。在在线阶段，我们设计了一个基于渲染的联合模型拟合框架，借助预构建的手与物体模型以及交互先验来理解动态手-物交互，从而克服手与物体间的穿透与分离问题，并实现新视角合成。为在序列的手-物交互过程中获得稳定接触，我们提出稳定接触损失以使接触区域保持一致。实验表明，我们的方法优于当前最优方法。代码与数据集见项目主页 https://iscas3dv.github.io/HO-NeRF。
引用
@article{arxiv.2308.11198,
title = {Novel-view Synthesis and Pose Estimation for Hand-Object Interaction from Sparse Views},
author = {Wentian Qu and Zhaopeng Cui and Yinda Zhang and Chenyu Meng and Cuixia Ma and Xiaoming Deng and Hongan Wang},
journal= {arXiv preprint arXiv:2308.11198},
year = {2023}
}