PoseExaminer:人体姿态与形状估计中分布外鲁棒性的自动化测试
计算机视觉与模式识别
2023-03-31 v2
摘要
人体姿态与形状(HPS)估计方法取得了显著结果。然而,当前的HPS基准大多设计用于测试与训练数据相似的场景中的模型。当观测数据与训练数据显著不同从而是分布外(OOD)时,这可能导致实际应用中的关键状况。因此,测试并改进HPS方法的OOD鲁棒性十分重要。为解决这一基本问题,我们开发了一个可用可解释参数精细控制的模拟器,以探索人体姿态图像的流形,例如通过改变姿态、形状和衣服。我们引入一种基于学习的测试方法,称为PoseExaminer,通过搜索人体姿态图像的参数空间来自动诊断HPS算法以发现失败模式。我们探索该高维参数空间的策略是一个多智能体强化学习系统,其中智能体协作探索参数空间的不同部分。我们展示PoseExaminer发现了当前最先进模型中的多种局限性,这些局限性在真实场景中相关但被当前基准遗漏。例如,它发现了大量未被正确预测的真实人体姿态区域,以及对瘦削和肥胖体型人类性能下降。此外,我们展示通过利用PoseExaminer发现的失败模式微调HPS方法,可显著提升其鲁棒性甚至在标准基准上的性能。代码可供研究目的使用。
引用
@article{arxiv.2303.07337,
title = {PoseExaminer: Automated Testing of Out-of-Distribution Robustness in Human Pose and Shape Estimation},
author = {Qihao Liu and Adam Kortylewski and Alan Yuille},
journal= {arXiv preprint arXiv:2303.07337},
year = {2023}
}
备注
Accepted to CVPR 2023; Code: https://github.com/qihao067/PoseExaminer