基于知识先验和不确定性引导的弱监督3D手部重建
计算机视觉与模式识别
2024-10-01 v2
摘要
完全监督的单目3D手部重建通常很难，因为捕获所需3D数据需要在受控环境中部署专用设备。我们引入一种弱监督方法，避免了此类要求，通过充分利用人类手部独特结构和功能理解中已确立的基本原理。具体而言，我们系统性地研究来自不同来源的手部知识，包括生物力学、功能解剖学和物理学。我们通过一套恰当的可微分训练损失将这些宝贵的基础见解有效地整合到3D手部重建模型中。这使得仅能使用 readily-obtainable 2D手部关键点标注进行训练，无需昂贵的3D监督。此外，我们显式地建模固有于图像观察的不确定性。我们通过一种简单而有效的负对数似然（NLL）损失将不确定性纳入损失函数中，以增强训练过程。通过大量实验，我们展示了该方法显著优于现有最先进的弱监督方法。例如，我们的方法在广泛采用的FreiHAND数据集上实现了近21%的性能提升。
引用
@article{arxiv.2407.12306,
title = {Splatfacto-W: A Nerfstudio Implementation of Gaussian Splatting for Unconstrained Photo Collections},
author = {Congrong Xu and Justin Kerr and Angjoo Kanazawa},
journal= {arXiv preprint arXiv:2407.12306},
year = {2024}
}
备注
9 pages