ProFeAT：投影特征对抗训练用于自监督学习鲁棒表征
机器学习
2024-06-11 v1 计算机视觉与模式识别
摘要
监督式对抗训练（AT）需要大量标记数据，促使使用自监督学习（SSL）技术。然而，直接将现有 SSL 方法应用于对抗训练效果次优，原因在于将 SSL 与 AT 组合的训练复杂度增加。最近一种方法 DeACL 通过蒸馏设置，利用标准 SSL 教师的监督信息来模拟监督式 AT。然而，我们发现与监督式对抗训练相比，仍存在显著的性能差距，尤其在大型模型上。本文调查了这一差距的关键原因，提出投影特征对抗训练（ProFeAT）以弥合差距。我们表明，次优蒸馏性能源于教师与学生训练目标不匹配，我们在学生端添加投影头，使其能够利用教师的弱监督，同时学习与教师不同的对抗鲁棒表征。我们进一步在特征和投影层提出合适的攻击与防御损失，并结合教师和学生使用的弱与强数据增广，以提升训练数据多样性而不增加训练复杂度。通过多个基准数据集和模型的大量实验，我们证明与现有 SSL-AT 方法相比，ProFeAT 在干净数据和鲁棒准确率上均实现显著提升，达到新的最先进水平。我们进一步报告与 TRADES（流行的监督式 AT 方法）相当或更好的性能。
引用
@article{arxiv.2406.05796,
title = {ProFeAT: Projected Feature Adversarial Training for Self-Supervised Learning of Robust Representations},
author = {Sravanti Addepalli and Priyam Dey and R. Venkatesh Babu},
journal= {arXiv preprint arXiv:2406.05796},
year = {2024}
}