Pose-NDF：用神经距离场建模人体姿态流形
计算机视觉与模式识别
2022-07-29 v1
摘要
我们提出 Pose-NDF，一种基于神经距离场（NDFs）的连续人体合理姿态模型。姿态或运动先验对于生成逼真的新姿态以及从含噪或部分观测中重建准确姿态十分重要。Pose-NDF 将合理姿态流形学习为神经隐式函数的零水平集，将 3D 中建模隐式曲面的思想推广到高维域 SO(3)^K，其中人体姿态由单个数据点定义，由 K 个四元数表示。所得高维隐式函数可关于输入姿态求导，从而可通过在三维超球面集合上利用梯度下降将任意姿态投影到该流形上。与先前基于 VAE 的人体姿态先验将姿态空间变换为高斯分布不同，我们建模实际姿态流形，保持姿态间距离。我们证明，在多种下游任务中作为先验时，PoseNDF 优于现有 SOTA 方法，范围涵盖去噪真实世界人体 mocap 数据、从遮挡数据恢复姿态到从图像进行 3D 姿态重建。此外，我们表明，通过随机采样与投影，它可比基于 VAE 的方法生成更多样化的姿态。
引用
@article{arxiv.2207.13807,
title = {Pose-NDF: Modeling Human Pose Manifolds with Neural Distance Fields},
author = {Garvita Tiwari and Dimitrije Antic and Jan Eric Lenssen and Nikolaos Sarafianos and Tony Tung and Gerard Pons-Moll},
journal= {arXiv preprint arXiv:2207.13807},
year = {2022}
}
备注
Project page: https://virtualhumans.mpi-inf.mpg.de/posendf