HandFlow:用归一化流量化双手重建中视角相关的三维歧义
计算机视觉与模式识别
2022-10-05 v1
摘要
从单幅图像重建双手交互是一个具有挑战性的问题,其歧义源于投影几何与严重遮挡。现有方法被设计为仅估计单一姿态,尽管存在其他同样契合图像证据的有效重建。本文中,我们提出通过在一个条件归一化流框架中显式建模合理重建的分布来解决此问题。这使我们能够通过一种新颖的行列式大小正则化直接监督后验分布,该正则化对于能良好投影回输入图像的多样化三维手姿态采样至关重要。我们还证明,常用于评估重建质量的指标不足以在此类严重歧义下评估姿态预测。为此,我们发布了首个每幅图像含多个合理标注的数据集 MultiHands。额外的标注使我们能够使用最大均值差异度量评估估计分布。借此,我们展示了我们概率重建的质量,并表明显式歧义建模更适用于这一挑战性问题。
引用
@article{arxiv.2210.01692,
title = {HandFlow: Quantifying View-Dependent 3D Ambiguity in Two-Hand Reconstruction with Normalizing Flow},
author = {Jiayi Wang and Diogo Luvizon and Franziska Mueller and Florian Bernard and Adam Kortylewski and Dan Casas and Christian Theobalt},
journal= {arXiv preprint arXiv:2210.01692},
year = {2022}
}
备注
VMV 2022 - Symposium on Vision, Modeling, and Visualization