中文

NRDF:用于学习铰接式姿态先验的神经黎曼距离场

计算机视觉与模式识别 2024-04-12 v2

摘要

忠实建模铰接空间是一项关键任务,它能够恢复和生成逼真的姿态,但仍然是一个著名的挑战。为此,我们引入了神经黎曼距离场,这是一种数据驱动的先验,用于建模合理铰接空间,表示为高维乘积四元数空间中神经场的零等值集。为了仅在正样本上训练 NRDF,我们引入了一种新的采样算法,确保测地距离遵循所需的分布,从而产生有原则的距离场学习范式。随后,我们设计了一种投影算法,通过自适应步长的黎曼优化器将任意随机姿态映射到等值集上,且始终遵循关节旋转的乘积流形。NRDF 能够通过反向传播计算黎曼梯度,并且通过数学类比,它与 Riemannian flow matching(一种最近的生成模型)相关。我们在各种下游任务(即姿态生成、基于图像的姿态估计以及逆运动学求解)中对 NRDF 与其他姿态先验进行了全面评估,突出了 NRDF 的优越性能。除了人类之外,NRDF 的多功能性还扩展到手部和动物姿态,因为它可以有效表示任何铰接结构。

关键词

引用

@article{arxiv.2403.03122,
  title  = {NRDF: Neural Riemannian Distance Fields for Learning Articulated Pose Priors},
  author = {Yannan He and Garvita Tiwari and Tolga Birdal and Jan Eric Lenssen and Gerard Pons-Moll},
  journal= {arXiv preprint arXiv:2403.03122},
  year   = {2024}
}

备注

Accepted by CVPR 2024. Project page: https://virtualhumans.mpi-inf.mpg.de/nrdf