面向跨场景三维人体姿态估计的推理阶段优化
计算机视觉与模式识别
2020-07-07 v1
摘要
现有的三维人体姿态估计模型在应用于具有未见姿态的新场景时，由于泛化能力有限而出现性能下降。本工作中，我们提出一种新颖框架——推理阶段优化(ISO)，用于在源数据与目标数据来自不同姿态分布时提升三维姿态模型的泛化性。我们的核心见解是，目标数据即便未标注，也携带有关其潜在分布的宝贵先验。为利用此类信息，所提出的ISO在每个单独目标实例上执行几何感知自监督学习(SSL)并在预测前更新三维姿态模型。以此方式，模型能够挖掘目标场景的分布知识并快速适应，从而增强泛化性能。此外，为处理序列目标数据，我们提出通过流式SSL实现ISO框架的在线模式，大幅提升了其有效性。我们系统分析了我们的ISO框架在跨场景设置下不同基准上运作的原因与方式。值得注意的是，它在MPI-INF-3DHP上取得了83.6% 3D PCK的新最优(state-of-the-art)结果，较此前最佳结果提升9.7%。代码将公开。
引用
@article{arxiv.2007.02054,
title = {Inference Stage Optimization for Cross-scenario 3D Human Pose Estimation},
author = {Jianfeng Zhang and Xuecheng Nie and Jiashi Feng},
journal= {arXiv preprint arXiv:2007.02054},
year = {2020}
}