用于鲁棒深度神经网络的快速近似谱归一化
机器学习
2021-03-26 v1
摘要
深度神经网络（DNNs）因相较于其他方案具有卓越性能而在机器学习中扮演重要角色。然而，DNNs 并不适用于安全关键应用，因其易被精心构造的对抗样本所欺骗。一种有前景的对抗攻击应对策略是利用谱归一化，其确保训练模型对输入样本扰动具有低敏感性。遗憾的是，该策略需要精确计算谱范数，计算密集且对大规模网络不切实际。本文中，我们基于傅里叶变换与层分离引入一种谱归一化的近似算法。我们工作的主要贡献在于有效结合权重矩阵的稀疏性与卷积层的可分解性。大量实验评估表明，相较于最先进的谱归一化，我们的框架能显著提升时间效率（高达 60%）与模型鲁棒性（平均 61%）。
引用
@article{arxiv.2103.13815,
title = {Fast Approximate Spectral Normalization for Robust Deep Neural Networks},
author = {Zhixin Pan and Prabhat Mishra},
journal= {arXiv preprint arXiv:2103.13815},
year = {2021}
}