对抗训练下的鲁棒 NAS：基准、理论及展望
机器学习
2024-03-21 v1 人工智能
机器学习
摘要
神经架构搜索 (NAS) 的最新发展强调了考虑针对恶意数据的鲁棒架构的重要性。然而，在搜索这些鲁棒架构时，尤其是在考虑对抗训练的情况下，明显缺乏基准评估和理论保证。在本工作中，我们旨在解决这两个挑战，做出了两方面的贡献。首先，我们发布了一个综合数据集，其中包含了来自图像数据集上 NAS-Bench-201 搜索空间的大量对抗训练网络的干净精度和鲁棒精度。然后，利用深度学习理论中的神经正切核 (NTK) 工具，我们建立了在多目标对抗训练下，以干净精度和鲁棒精度为指标的搜索架构的泛化理论。我们坚信，我们的基准和理论见解将通过可靠的再现性、高效的评估和理论基础极大地造福 NAS 社区，尤其是在追求鲁棒架构的过程中。
引用
@article{arxiv.2403.13134,
title = {Robust NAS under adversarial training: benchmark, theory, and beyond},
author = {Yongtao Wu and Fanghui Liu and Carl-Johann Simon-Gabriel and Grigorios G Chrysos and Volkan Cevher},
journal= {arXiv preprint arXiv:2403.13134},
year = {2024}
}