通过双重噪声估计的单目3D手部网格恢复
计算机视觉与模式识别
2023-12-27 v1
摘要
当前的参数化模型在3D手部姿态和形状估计方面取得了显著进展。然而，由于固定的手部拓扑结构和复杂的手部姿态，当前模型难以生成与图像良好对齐的网格。为解决此问题，本文引入了一种双重噪声估计方法。给定单视图图像作为输入，我们首先采用基线参数化回归器获取粗略的手部网格。我们假设网格顶点及其图像平面投影存在噪声，并可以在统一的概率模型中关联起来。然后我们学习噪声的分布以细化网格顶点及其投影。细化后的顶点进一步用于以闭式方式细化相机参数。因此，我们的方法获得了良好对齐且高质量的3D手部网格。在大规模Interhand2.6M数据集上的大量实验表明，所提方法不仅将基线性能提升了10%以上，而且达到了最先进的性能。项目页面：\url{https://github.com/hanhuili/DNE4Hand}。
引用
@article{arxiv.2312.15916,
title = {Monocular 3D Hand Mesh Recovery via Dual Noise Estimation},
author = {Hanhui Li and Xiaojian Lin and Xuan Huang and Zejun Yang and Zhisheng Wang and Xiaodan Liang},
journal= {arXiv preprint arXiv:2312.15916},
year = {2023}
}
备注
Accepted by AAAI-24