基于无噪声在线鲁棒蒸馏的半监督对抗鲁棒性
机器学习
2024-09-20 v1 数据结构与算法
机器学习
摘要
鲁棒自训练 (RST) 框架已成为半监督对抗训练的热门方法。为探索在更少标注预算下处理更复杂任务的可能性，不同于依赖鲁棒预训练模型的先前方法，我们提出了 SNORD - 一个简单而有效的框架，将当代半监督学习技术引入对抗训练领域。通过更有效地增强伪标签并管理噪声训练数据，SNORD 在各种数据集和标注预算下展现出惊人的、领先的性能，无需预训练模型。相对于完全对抗监督，SNORD 在 epsilon = 8/255 AutoAttack 下实现 90% 的相对鲁棒准确率，仅需 CIFAR-10、CIFAR-100 和 TinyImageNet-200 中分别不足 0.1%、2% 和 10% 的标签。额外实验确认了每个组件的有效性，并演示了将 SNORD 与现有对抗预训练策略集成以进一步提升鲁棒性的灵活性。
关键词
引用
@article{arxiv.2409.12947,
title = {Unrolled denoising networks provably learn optimal Bayesian inference},
author = {Aayush Karan and Kulin Shah and Sitan Chen and Yonina C. Eldar},
journal= {arXiv preprint arXiv:2409.12947},
year = {2024}
}
备注
32 pages