无标签数据有帮助：极小极大分析与对抗鲁棒性
机器学习
2022-02-16 v1 机器学习
摘要
近期提出的自监督学习（SSL）方法成功展示了以额外无标签数据补充学习算法的巨大潜力。然而，现有 SSL 算法能否充分利用有标签与无标签数据的信息仍不清楚。本文在若干统计模型下对基于重建的 SSL 算法 \citep{lee2020predicting} 给出肯定回答。现有文献仅关注建立收敛速率上界，我们提供了严格的极小极大分析，并成功论证了基于重建的 SSL 算法在不同数据生成模型下的速率最优性。此外，我们将基于重建的 SSL 融入现有对抗训练算法，并展示从无标签数据学习有助于提升鲁棒性。
引用
@article{arxiv.2202.06996,
title = {Unlabeled Data Help: Minimax Analysis and Adversarial Robustness},
author = {Yue Xing and Qifan Song and Guang Cheng},
journal= {arXiv preprint arXiv:2202.06996},
year = {2022}
}