基于身体知识与不确定性建模的单目 3D 人体重建
计算机视觉与模式识别
2023-08-03 v1
摘要
尽管 3D 人体重建方法近来取得了显著进展，但获取训练所需的足够准确且大量的 3D 监督仍然困难。本文中，我们提出 \textbf{KNOWN}，一个有效利用身体 \textbf{KNOW}ledge 与 u\textbf{N}certainty 建模来弥补 3D 监督不足的框架。KNOWN 利用从既有的身体知识中导出的一整套通用身体约束。这些通用约束精确且显式地刻画了重建的合理性，并使 3D 重建模型能够在无任何 3D 数据的情况下训练。此外，现有方法在训练时通常使用来自多个数据集的图像，这可能导致数据噪声（\textit{例如}，不一致的关节标注）和数据不平衡（\textit{例如}，代表不寻常姿态或从困难相机视角捕获的少数图像）。KNOWN 通过一个建模认知不确定性与 epistemic 不确定性的新颖概率框架解决这些问题。aleatoric 不确定性被编码于一个鲁棒的 Negative Log-Likelihood (NLL) 训练损失中，而 epistemic 不确定性用于引导模型精炼。实验表明，KNOWN 的身体重建优于先前的弱监督方法，尤其在困难的少数图像上。
引用
@article{arxiv.2308.00799,
title = {Body Knowledge and Uncertainty Modeling for Monocular 3D Human Body Reconstruction},
author = {Yufei Zhang and Hanjing Wang and Jeffrey O. Kephart and Qiang Ji},
journal= {arXiv preprint arXiv:2308.00799},
year = {2023}
}
备注
ICCV 2023