无标签无监督表示学习的鲁棒性
机器学习
2022-10-11 v1 人工智能
摘要
无监督表示学习利用大型无标签数据集，并与监督学习具有竞争力。但非鲁棒编码器可能影响下游任务的鲁棒性。近来，鲁棒表示编码器已引起关注。然而，所有先前工作均使用下游分类任务评估鲁棒性。相反，我们提出了一系列无监督鲁棒性度量，它们是模型无关、任务无关且无标签的。我们对最先进的表示编码器进行基准测试，表明无一能全面优于其余。我们给出了 FGSM 与 PGD 攻击的无监督扩展。当用于对抗训练时，它们改善了大多数无监督鲁棒性度量，包括认证鲁棒性。我们针对线性探针验证结果，表明对于 MOCOv2，对抗训练带来了 3 倍更高的认证准确率、冒充攻击成功率的 2 倍下降以及认证鲁棒性的显著提升。
引用
@article{arxiv.2210.04076,
title = {Robustness of Unsupervised Representation Learning without Labels},
author = {Aleksandar Petrov and Marta Kwiatkowska},
journal= {arXiv preprint arXiv:2210.04076},
year = {2022}
}