通过多任务自监督预训练提升分布外泛化能力
计算机视觉与模式识别
2020-03-31 v1 机器学习
摘要
自监督特征表示已被证明对监督分类、少样本学习和对抗鲁棒性有用。我们表明，在计算机视觉的领域泛化中，使用自监督学习获得的特征可与监督学习相媲美或更优。我们引入了一种预测 Gabor 滤波器组响应的新自监督 pretext 任务，并证明兼容 pretext 任务的多任务学习相比单独训练各任务能提升领域泛化性能。当训练与测试分布之间存在较大领域偏移时，通过自监督学习的特征比其监督对应物对未见领域的泛化更好，甚至对感兴趣对象展现出更好的定位能力。自监督特征表示也可与其他领域泛化方法结合以进一步提升性能。
引用
@article{arxiv.2003.13525,
title = {Improving out-of-distribution generalization via multi-task self-supervised pretraining},
author = {Isabela Albuquerque and Nikhil Naik and Junnan Li and Nitish Keskar and Richard Socher},
journal= {arXiv preprint arXiv:2003.13525},
year = {2020}
}