其所认为重要的即重要：鲁棒性通过输入梯度迁移
机器学习
2020-10-30 v3 计算机视觉与模式识别
神经与进化计算
摘要
对抗扰动是输入像素上难以察觉的改变，可改变深度学习模型的预测。先前发现对这类扰动鲁棒的模型的学习权重可跨不同任务迁移，但这仅适用于源任务与目标任务模型架构相同的情况。输入梯度刻画了每个输入像素上的微小改变如何影响模型输出。仅使用自然图像，我们在此展示训练学生模型的输入梯度以匹配鲁棒教师模型的输入梯度，可获得接近于从头鲁棒训练的强基线的鲁棒性。通过在 MNIST、CIFAR-10、CIFAR-100 与 Tiny-ImageNet 上的实验，我们表明所提方法——输入梯度对抗匹配——可跨不同任务甚至跨不同模型架构迁移鲁棒性。这表明直接针对输入梯度的语义是实现对抗鲁棒性的可行途径。
引用
@article{arxiv.1912.05699,
title = {What it Thinks is Important is Important: Robustness Transfers through Input Gradients},
author = {Alvin Chan and Yi Tay and Yew-Soon Ong},
journal= {arXiv preprint arXiv:1912.05699},
year = {2020}
}
备注
Accepted as Oral in CVPR 2020, Camera-Ready Version