CIFS：基于通道重要性的特征选择提升CNN的对抗鲁棒性
机器学习
2021-11-11 v4 人工智能
摘要
我们从通道激活的角度研究CNN的对抗鲁棒性。通过比较非鲁棒（常规训练）与鲁棒化（对抗训练）模型，我们观察到对抗训练（AT）通过使对抗数据的通道激活与其自然对应数据的通道激活对齐来鲁棒化CNN。然而，在处理对抗数据时，与预测负相关（NR）的通道仍然被过度激活。此外，我们还观察到AT并未使所有类别获得相似的鲁棒性。对于鲁棒类别，激活幅度较大的通道通常更与预测正相关（PR），但这种对齐在非鲁棒类别中并不成立。基于这些观察，我们假设抑制NR通道并使其PR通道与相关度对齐，可进一步增强AT下CNN的鲁棒性。为验证该假设，我们引入了一种新机制，即基于通道重要性的特征选择（CIFS）。CIFS通过根据通道与预测的相关度生成非负乘子，来操纵特定层的通道激活。在包括CIFAR10和SVHN在内的基准数据集上的大量实验清楚地验证了该假设以及CIFS鲁棒化CNN的有效性。\url{https://github.com/HanshuYAN/CIFS}
引用
@article{arxiv.2102.05311,
title = {CIFS: Improving Adversarial Robustness of CNNs via Channel-wise Importance-based Feature Selection},
author = {Hanshu Yan and Jingfeng Zhang and Gang Niu and Jiashi Feng and Vincent Y. F. Tan and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2102.05311},
year = {2021}
}