理解三维人体姿态估计中姿态与外观的解耦
计算机视觉与模式识别
2023-09-22 v1
摘要
由于三维人体姿态估计在有监督学习场景下已能实现极高精度，处理无三维姿态标注可用的情况正受到越来越多的关注。特别是，若干方法提出以自监督方式学习图像表示，从而将外观信息从姿态信息中解耦。这些方法随后仅需少量有监督数据，以与姿态相关的潜向量为输入训练姿态回归器，因为该向量应不含外观信息。本文中，我们开展深入分析，以理解最先进的解耦表示学习方法在多大程度上真正分离了外观信息与姿态信息。首先，我们通过多样的图像合成实验，从自监督网络的角度研究解耦。其次，我们基于对抗攻击视角，针对三维姿态回归器考察解耦。具体而言，我们设计了一种专注于生成受试者自然外观变化的对抗策略，并期望解耦网络对此具有鲁棒性。总体而言，我们的分析表明，三种最先进的解耦表示学习框架中的解耦远非彻底，且其姿态编码包含显著的外观信息。我们相信，我们的方法为评估自监督三维人体姿态估计中姿态与外观解耦程度提供了有价值的测试平台。
引用
@article{arxiv.2309.11667,
title = {Understanding Pose and Appearance Disentanglement in 3D Human Pose Estimation},
author = {Krishna Kanth Nakka and Mathieu Salzmann},
journal= {arXiv preprint arXiv:2309.11667},
year = {2023}
}