STAGE:用于审计3D人体姿态估计器的GenAI工具包
计算机视觉与模式识别
2026-02-02 v2
摘要
对于安全关键型应用,审计3D人体姿态估计器在部署前至关重要。如果天气或服装发生变化,系统是否会崩溃?对于性别和年龄,系统是否稳健?要回答这些问题,需要对图像在单一属性上有所不同的受控研究,但真实基准数据集无法提供此类配对样本。因此,我们提出了STAGE,这是一种用于审计3D人体姿态估计器的GenAI数据工具包。为STAGE,我们开发了第一个具备准确3D姿态控制能力的GenAI图像创建工具,并提出了一种新颖的评估策略,以隔离并量化单一因素(如性别、族裔、年龄、服装、场所和天气)的影响。借助STAGE,我们首次生成了一系列基准数据集,用于审计流行姿态估计器对此类因素的敏感性。我们的结果表明,自然变化可严重降低姿态估计器的性能,质疑其在开放世界部署的准备就绪性。我们旨在凸显这些可靠性问题,并将STAGE确立为量化这些问题的基准。
引用
@article{arxiv.2408.16536,
title = {Are Pose Estimators Ready for the Open World? STAGE: A GenAI Toolkit for Auditing 3D Human Pose Estimators},
author = {Nikita Kister and István Sárándi and Jiayi Wang and Anna Khoreva and Gerard Pons-Moll},
journal= {arXiv preprint arXiv:2408.16536},
year = {2026}
}
备注
International Conference on 3D Vision 2026(3DV 2026)