深度学习中用于对抗鲁棒性的局部竞争与随机性
机器学习
2021-03-30 v2 机器学习
摘要
本工作通过考虑具有随机局部赢家通吃（LWTA）激活的深度网络来解决深度学习中的对抗鲁棒性问题。这类网络单元从每个模型层产生稀疏表示，因为单元被组织在块中，其中仅有一个单元产生非零输出。所引入单元的主要工作原理基于随机论证，因为网络对竞争单元执行后验采样以选择赢家。我们将这些LWTA论证与贝叶斯非参数领域的工具（具体而言是Indian Buffet过程的棒-breaking构造）相结合，以推断每一层中对手头数据建模至关重要的子部分。然后，通过随机变分贝叶斯执行推断。我们使用基准数据集对我们的模型进行了彻底的实验评估。正如我们所展示的，我们的方法对对抗扰动实现了高鲁棒性，并在强大的对抗攻击方案下取得了最先进的性能。
引用
@article{arxiv.2101.01121,
title = {Local Competition and Stochasticity for Adversarial Robustness in Deep Learning},
author = {Konstantinos P. Panousis and Sotirios Chatzis and Antonios Alexos and Sergios Theodoridis},
journal= {arXiv preprint arXiv:2101.01121},
year = {2021}
}
备注
Accepted AISTATS 2021. arXiv admin note: text overlap with arXiv:2006.10620