NEO-KD：基于知识蒸馏的对抗训练用于鲁棒多出口神经网络
机器学习
2023-11-02 v1
摘要
尽管多出口神经网络被视为通过早退实现高效推理的一种有前景的方案，但抵御对抗攻击仍是一个具有挑战性的问题。在多出口网络中，由于不同子模型间的高依赖性，针对特定出口的对抗样本不仅降低目标出口的性能，还同时降低所有其他出口的性能，这使得多出口网络对简单对抗攻击高度脆弱。本文提出NEO-KD，一种基于知识蒸馏的对抗训练策略，基于两项关键贡献解决这一基本挑战。NEO-KD首先借助邻域知识蒸馏，引导对抗样本的输出趋向于干净数据邻域出口的集成输出；NEO-KD还采用出口间正交知识蒸馏以降低跨子模型的对抗可迁移性。结果是针对对抗攻击的鲁棒性显著提升。在多个数据集/模型上的实验结果表明，与依赖现有对抗训练或知识蒸馏技术的多出口网络基线相比，我们的方法以更少的计算开销取得了最佳的对抗精度。
引用
@article{arxiv.2311.00428,
title = {NEO-KD: Knowledge-Distillation-Based Adversarial Training for Robust Multi-Exit Neural Networks},
author = {Seokil Ham and Jungwuk Park and Dong-Jun Han and Jaekyun Moon},
journal= {arXiv preprint arXiv:2311.00428},
year = {2023}
}
备注
10 pages, 4 figures, accepted by 37th Conference on Neural Information Processing Systems (NeurIPS 2023)