RNAS-CL：基于跨层知识蒸馏的鲁棒神经架构搜索
计算机视觉与模式识别
2024-08-13 v1 机器学习
摘要
深度神经网络易受对抗攻击。神经架构搜索（NAS）作为深度神经网络的驱动工具之一，在各种机器学习应用中展现出优越的预测精度性能。然而，其在对抗攻击下的表现尚不清楚。给定存在一个鲁棒教师模型，探究 NAS 是否能通过继承教师模型的鲁棒性而产生鲁棒神经架构将是很有趣的。本文提出基于跨层知识蒸馏的鲁棒神经架构搜索（RNAS-CL），一种新颖的 NAS 算法，通过学习鲁棒教师模型的跨层知识蒸馏来提升 NAS 的鲁棒性。与以往仅鼓励最后一层师生输出接近的知识蒸馏方法不同，RNAS-CL 自动搜索最佳教师层来监督每个学生层。实验结果证明了 RNAS-CL 的有效性，并表明 RNAS-CL 产生了小而鲁棒的神经网络架构。
引用
@article{arxiv.2301.08092,
title = {RNAS-CL: Robust Neural Architecture Search by Cross-Layer Knowledge Distillation},
author = {Utkarsh Nath and Yancheng Wang and Yingzhen Yang},
journal= {arXiv preprint arXiv:2301.08092},
year = {2024}
}
备注
17 pages, 12 figures