为监督学习量身定制自监督
计算机视觉与模式识别
2022-07-21 v1
摘要
近期研究表明，部署恰当的自监督是提升监督学习性能的一种可行途径。然而，由于先前的 pretext 任务专为无监督表征学习而设计，自监督的益处尚未被充分挖掘。为此，我们首先提出此类辅助任务用以协助监督目标所应具备的三个理想性质。第一，任务需引导模型学习丰富特征。第二，自监督中所涉及的变换不应显著改变训练分布。第三，任务最好是轻量且通用的，以高度适配已有方法。随后，为展示现有 pretext 任务如何满足这些要求并为监督学习量身定制，我们提出一种简单的辅助自监督任务——预测可定位旋转（LoRot）。我们详尽的实验验证了 LoRot 作为为监督学习量身定制的 pretext 任务在鲁棒性与泛化能力上的优点。我们的代码见 https://github.com/wjun0830/Localizable-Rotation。
引用
@article{arxiv.2207.10023,
title = {Tailoring Self-Supervision for Supervised Learning},
author = {WonJun Moon and Ji-Hwan Kim and Jae-Pil Heo},
journal= {arXiv preprint arXiv:2207.10023},
year = {2022}
}
备注
Accepted to ECCV 2022. Code is available at github.com/wjun0830/Localizable-Rotation