预训练提升姿态估计的域外鲁棒性
计算机视觉与模式识别
2021-03-02 v2 机器学习
摘要
神经网络是姿态估计的高效工具。然而，与其他计算机视觉任务一样，对域外数据的鲁棒性仍是一项挑战，尤其是对于真实世界应用中常见的小型训练集而言。在此，我们借助三类架构（MobileNetV2、ResNet 与 EfficientNet）探究姿态估计的泛化能力。我们构建了一个包含 30 匹马的数据集，可同时进行“域内”与“域外”（未见过的马）基准测试——这是当前人体姿态估计基准未直接涉及的、对鲁棒性至关重要的检验。我们表明，若在 ImageNet 上先进行了预训练，那么在 ImageNet 上表现更优的架构在域内与域外数据上均表现更优。我们还进一步展示，更优的 ImageNet 模型在不同动物物种间具有更好的泛化能力。此外，我们引入 Horse-C，一种针对姿态估计常见 corruptions（图像退化）的新基准，并证实在该域偏移情境下预训练同样提升了性能。总体而言，我们的结果表明迁移学习有益于域外鲁棒性。
引用
@article{arxiv.1909.11229,
title = {Pretraining boosts out-of-domain robustness for pose estimation},
author = {Alexander Mathis and Thomas Biasi and Steffen Schneider and Mert Yüksekgönül and Byron Rogers and Matthias Bethge and Mackenzie W. Mathis},
journal= {arXiv preprint arXiv:1909.11229},
year = {2021}
}
备注
A.M. and T.B. co-first authors. Dataset available at http://horse10. deeplabcut.org . WACV 2021 conference