通过k-Winners-Take-All增强对抗防御
机器学习
2019-10-30 v3 人工智能
密码学与安全
数据结构与算法
机器学习
摘要
我们提出对现有神经网络结构做一简单改动，以更好地防御基于梯度的对抗攻击。不同于使用流行的激活函数（如ReLU），我们主张使用k-Winners-Take-All（k-WTA）激活，这是一种不连续函数，可有意使神经网络模型在密集分布输入数据点处的梯度失效。所提k-WTA激活几乎可用于所有现有网络与训练方法而无明显开销。我们的提议在理论上有理有据。我们分析了k-WTA网络中的不连续性为何能在很大程度上阻止对抗样本的基于梯度的搜索，以及为何其同时对网络训练无害。该理解亦得到实证支持。我们在各种由某训练方法（无论是否对抗训练）优化的网络结构上测试k-WTA激活。所有情况下，k-WTA网络在白盒攻击下的鲁棒性均优于传统网络。
引用
@article{arxiv.1905.10510,
title = {Enhancing Adversarial Defense by k-Winners-Take-All},
author = {Chang Xiao and Peilin Zhong and Changxi Zheng},
journal= {arXiv preprint arXiv:1905.10510},
year = {2019}
}