SPLASH：用于提升准确率与对抗鲁棒性的可学习激活函数
机器学习
2020-06-17 v1 神经与进化计算
机器学习
摘要
我们引入 SPLASH 单元，一类可学习激活函数，被证明能在提升深度神经网络准确率的同时改善其对对抗攻击的鲁棒性。SPLASH 单元具有简单的参数化形式，并保持近似广泛非线性函数的能力。SPLASH 单元：1）连续；2）接地（f(0) = 0）；3）使用对称铰链；且 4）铰链的位置直接由数据导出（即无需学习）。与包括 ReLU 及其变体在内的其他九种可学习与固定激活函数相比，SPLASH 单元在三个数据集（MNIST、CIFAR-10 和 CIFAR-100）与四种架构（LeNet5、All-CNN、ResNet-20 和 Network-in-Network）上展现出更优性能。此外，我们证明 SPLASH 单元显著提升深度神经网络对对抗攻击的鲁棒性。我们在黑盒与开盒对抗攻击上的实验表明，常用架构即 LeNet5、All-CNN、ResNet-20 和 Network-in-Network，仅通过使用 SPLASH 单元替代 ReLUs，对对抗攻击的鲁棒性可提升高达 31%。
引用
@article{arxiv.2006.08947,
title = {SPLASH: Learnable Activation Functions for Improving Accuracy and Adversarial Robustness},
author = {Mohammadamin Tavakoli and Forest Agostinelli and Pierre Baldi},
journal= {arXiv preprint arXiv:2006.08947},
year = {2020}
}