用于自适应三维人体姿态估计的非局部隐关系蒸馏
计算机视觉与模式识别
2022-04-07 v2 人工智能
摘要
现有的三维人体姿态估计方法利用了不同形式的强（2D/3D姿态）或弱（多视角或深度）配对监督。除合成或棚内域外，为每个新目标环境获取此类监督极为不便。为此，我们将三维姿态学习视为自监督自适应问题，旨在将任务知识从带标签的源域迁移至完全无配对的目标域。我们提出通过两个显式映射即图像到隐变量与隐变量到姿态来推断图像到姿态，其中后者是从施加先验的生成对抗自编码器预训练得到的解码器。接着，我们引入关系蒸馏以对齐无配对的跨模态样本，即无配对的目标视频与无配对的3D姿态序列。为此，我们提出一组新的非局部关系，以刻画长程隐姿态交互，不同于一般对比关系中将正耦合局限于局部邻域结构的情况。此外，我们提供了一种量化非局部性的客观方法，以筛选最有效的关系集合。我们评估了不同的自适应设置，并在标准基准上展示了最先进（state-of-the-art, SOTA）的三维人体姿态估计性能。
引用
@article{arxiv.2204.01971,
title = {Non-Local Latent Relation Distillation for Self-Adaptive 3D Human Pose Estimation},
author = {Jogendra Nath Kundu and Siddharth Seth and Anirudh Jamkhandi and Pradyumna YM and Varun Jampani and Anirban Chakraborty and R. Venkatesh Babu},
journal= {arXiv preprint arXiv:2204.01971},
year = {2022}
}
备注
NeurIPS 2021. Project page: https://sites.google.com/view/sa3dhp