使用自监督学习可提升模型鲁棒性与不确定性
机器学习
2019-10-30 v2 计算机视觉与模式识别
机器学习
摘要
自监督为下游任务提供有效的表示而无需标签。然而，现有方法落后于全监督训练，且常被认为除免除或减少标注需求外并无益处。我们发现自监督能以多种方式裨益鲁棒性，包括对对抗样本、标签损坏和常见输入损坏的鲁棒性。此外，自监督极大裨益于困难、近分布离群点的分布外检测，其程度甚至超越全监督方法的性能。这些结果展示了自监督在改善鲁棒性与不确定性估计方面的前景，并将这些任务确立为未来自监督学习研究的全新评估维度。
引用
@article{arxiv.1906.12340,
title = {Using Self-Supervised Learning Can Improve Model Robustness and Uncertainty},
author = {Dan Hendrycks and Mantas Mazeika and Saurav Kadavath and Dawn Song},
journal= {arXiv preprint arXiv:1906.12340},
year = {2019}
}
备注
NeurIPS 2019; code and data available at https://github.com/hendrycks/ss-ood