面向抗多样扰动的鲁棒 NAS 的可泛化轻量代理
机器学习
2023-10-23 v2
摘要
近期的神经架构搜索（NAS）框架已成功为给定条件（如性能或延迟）找到最优架构。然而，它们仅就干净图像上的性能搜索最优架构，而针对各类扰动或腐蚀的鲁棒性在实践中至关重要。尽管存在若干鲁棒 NAS 框架通过将对抗训练整合进一次性 NAS 来解决此问题，但它们局限于仅考虑对抗攻击的鲁棒性，且需要大量计算资源来为单一任务发现最优架构，这使得它们在真实场景中不实用。为应对这些挑战，我们提出一种新颖的轻量鲁棒零成本代理，其在初始化状态下考虑干净图像与扰动图像在特征、参数和梯度上的一致性。我们的方法有助于高效快速地搜索能够学习在多样扰动下展现鲁棒性的可泛化特征的神经架构。实验结果表明，我们的代理能快速高效地搜索在多个基准数据集和多样搜索空间上对各种扰动一致鲁棒的神经网络架构，大幅优于现有干净零样本 NAS 和鲁棒 NAS，且搜索成本更低。
引用
@article{arxiv.2306.05031,
title = {Generalizable Lightweight Proxy for Robust NAS against Diverse Perturbations},
author = {Hyeonjeong Ha and Minseon Kim and Sung Ju Hwang},
journal= {arXiv preprint arXiv:2306.05031},
year = {2023}
}
备注
NeurIPS 2023, Code is available at https://github.com/HyeonjeongHa/CRoZe