随机局部赢者通吃网络实现极强的对抗鲁棒性
机器学习
2021-12-07 v1 机器学习
摘要
本工作探讨了基于随机竞争的激活函数，即随机局部赢者通吃（Stochastic Local Winner-Takes-All, LWTA），对抗强大的（基于梯度的）白盒与黑盒对抗攻击的有效性；我们特别关注对抗训练（Adversarial Training）设置。在我们的工作中，我们用由局部且随机竞争的线性单元组成的块替换传统的基于 ReLU 的非线性函数。现在每个网络层的输出产生稀疏输出，取决于每个块中赢者采样的结果。我们依赖变分贝叶斯（Variational Bayesian）框架进行训练与推断；我们引入传统的基于 PGD 的对抗训练方法以提高整体对抗鲁棒性。正如我们通过实验所展示的，由此产生的网络在强大的对抗攻击下取得了最先进的（state-of-the-art）鲁棒性，同时在良性情况下保持非常高的分类率。
引用
@article{arxiv.2112.02671,
title = {Stochastic Local Winner-Takes-All Networks Enable Profound Adversarial Robustness},
author = {Konstantinos P. Panousis and Sotirios Chatzis and Sergios Theodoridis},
journal= {arXiv preprint arXiv:2112.02671},
year = {2021}
}
备注
Bayesian Deep Learning Workshop, NeurIPS 2021