NRDF:用于学习铰接式姿态先验的神经黎曼距离场
计算机视觉与模式识别
2024-04-12 v2
摘要
忠实建模铰接空间是一项关键任务,它能够恢复和生成逼真的姿态,但仍然是一个著名的挑战。为此,我们引入了神经黎曼距离场,这是一种数据驱动的先验,用于建模合理铰接空间,表示为高维乘积四元数空间中神经场的零等值集。为了仅在正样本上训练 NRDF,我们引入了一种新的采样算法,确保测地距离遵循所需的分布,从而产生有原则的距离场学习范式。随后,我们设计了一种投影算法,通过自适应步长的黎曼优化器将任意随机姿态映射到等值集上,且始终遵循关节旋转的乘积流形。NRDF 能够通过反向传播计算黎曼梯度,并且通过数学类比,它与 Riemannian flow matching(一种最近的生成模型)相关。我们在各种下游任务(即姿态生成、基于图像的姿态估计以及逆运动学求解)中对 NRDF 与其他姿态先验进行了全面评估,突出了 NRDF 的优越性能。除了人类之外,NRDF 的多功能性还扩展到手部和动物姿态,因为它可以有效表示任何铰接结构。
引用
@article{arxiv.2403.03122,
title = {NRDF: Neural Riemannian Distance Fields for Learning Articulated Pose Priors},
author = {Yannan He and Garvita Tiwari and Tolga Birdal and Jan Eric Lenssen and Gerard Pons-Moll},
journal= {arXiv preprint arXiv:2403.03122},
year = {2024}
}
备注
Accepted by CVPR 2024. Project page: https://virtualhumans.mpi-inf.mpg.de/nrdf