基于概率注意力模型与遮挡感知纹理回归的单RGB图像三维手部重建
计算机视觉与模式识别
2023-04-28 v1
摘要
近年来，基于深度学习的方法在单RGB图像三维手部重建中展现出良好前景。这些方法大致可分为基于模型的方法（严重依赖模型参数空间）和无模型方法（需要大量三维真值以减少深度歧义，且在弱监督场景下表现不佳）。为克服这些问题，我们提出一种新颖的概率模型，以实现基于模型方法的鲁棒性并降低无模型方法对模型参数空间的依赖。该概率模型将基于模型的网络作为先验网络(prior-net)来估计关节与顶点的先验概率分布。我们提出一种基于注意力的网格顶点不确定性回归(AMVUR)模型，以捕捉顶点间依赖关系及关节与网格顶点的相关性，从而改进其特征表示。我们进一步提出一种基于学习的遮挡感知手部纹理回归模型，以实现高保真纹理重建。我们证明了所提概率模型在监督与弱监督场景下均可灵活训练。实验结果表明，我们的概率模型在两种训练方案下，包括存在严重遮挡时，均达到了单图像三维手部及纹理重建的当前最优精度。
引用
@article{arxiv.2304.14299,
title = {A Probabilistic Attention Model with Occlusion-aware Texture Regression for 3D Hand Reconstruction from a Single RGB Image},
author = {Zheheng Jiang and Hossein Rahmani and Sue Black and Bryan M. Williams},
journal= {arXiv preprint arXiv:2304.14299},
year = {2023}
}