IKOL：基于高斯-牛顿微分的三维人体姿态与形状估计逆运动学优化层
计算机视觉与模式识别
2023-02-14 v2
摘要
本文提出一种用于三维人体姿态与形状估计的逆运动学优化层（IKOL），其在端到端框架中结合了基于优化与基于回归方法的优势。IKOL 涉及一个非凸优化，建立了从图像的三维关键点和身体形状到相对身体部位旋转的隐式映射。三维关键点和身体形状为输入，相对身体部位旋转为解。然而，该过程是隐式的且难以微分。为此，我们设计了高斯-牛顿微分（GN-Diff）过程以对 IKOL 求导。GN-Diff 迭代线性化非凸目标函数以获得具有闭式解的高斯-牛顿方向，然后直接应用自动微分过程生成雅可比矩阵用于端到端训练。值得注意的是，GN-Diff 过程速度快，因其不依赖耗时的隐式微分过程。扭转旋转和形状参数由神经网络学习，因此 IKOL 比大多数现有基于优化的方法计算开销低得多。此外，与现有基于回归的方法相比，IKOL 提供了更精确的网格-图像对应，因其迭代减小关键点间距离并增强了姿态结构的可靠性。大量实验证明了我们所提框架相对于广泛的三维人体姿态与形状估计方法的优越性。
引用
@article{arxiv.2302.01058,
title = {IKOL: Inverse kinematics optimization layer for 3D human pose and shape estimation via Gauss-Newton differentiation},
author = {Juze Zhang and Ye Shi and Yuexin Ma and Lan Xu and Jingyi Yu and Jingya Wang},
journal= {arXiv preprint arXiv:2302.01058},
year = {2023}
}
备注
Accepted by AAAI 2023