基于蜕变测试的手姿估计模型鲁棒性评估
计算机视觉与模式识别
2023-03-09 v1 软件工程
摘要
手姿估计（HPE）是一项从图像或视频帧中预测并描述手部姿态的任务。当 HPE 模型估计在实验室或受控环境下捕获的手部姿态时，通常表现良好。然而，真实世界环境复杂，可能发生各种不确定性，从而降级 HPE 模型的性能。例如，手部可能被遮挡，不完美的曝光率可能降低手部可见性，且在快速手部运动期间手部轮廓易于模糊。本文采用蜕变测试评估 HPE 模型的鲁棒性，并为不同应用中的 HPE 模型选择提供建议。鲁棒性评估在四种最先进模型上进行，即 MediaPipe hands、OpenPose、BodyHands 与 NSRM hand。我们发现，当引入对角运动模糊时，平均超过 80% 的手部无法被 BodyHands 识别，至少 50% 的手部无法被 MediaPipe hands 识别，而平均超过 50% 的强欠曝光手部无法被 NSRM hand 正确估计。类似地，仅对四个手部关节施加遮挡也会大幅降级这些模型的性能。实验结果表明，遮挡、光照变化与运动模糊是现有 HPE 模型性能的主要障碍。这些发现可为研究者改进手姿估计模型及其应用的性能与鲁棒性铺平道路。
引用
@article{arxiv.2303.04566,
title = {Robustness Evaluation in Hand Pose Estimation Models using Metamorphic Testing},
author = {Muxin Pu and Chun Yong Chong and Mei Kuan Lim},
journal= {arXiv preprint arXiv:2303.04566},
year = {2023}
}
备注
Accepted at 2023 8th International Workshop on Metamorphic Testing, 8 pages