神经网络的活跃子空间：结构分析与通用攻击
机器学习
2020-04-30 v2 数值分析
数值分析
机器学习
摘要
活跃子空间是不确定性量化领域广泛使用的模型降维方法。本文提出利用活跃子空间分析深度神经网络的内部结构与脆弱性。首先，我们采用活跃子空间度量各中间层“活跃神经元”的数量，并将神经元数量从数千降至数十。这促使我们改变网络结构，开发出一种名为 {ASNet} 的新的更紧凑网络，其模型参数量显著减少。其次，我们提出利用活跃子空间分析神经网络的脆弱性，并寻找一个加性通用对抗攻击向量，能以高概率使数据集误分类。我们在 CIFAR-10 上的实验表明，ASNet 可实现 23.98 参数量与 7.30 flops 的缩减。通用活跃子空间攻击向量在所有数值实验中相较现有方法可实现约 20% 更高的攻击率。本文的 PyTorch 代码已在线提供。
引用
@article{arxiv.1910.13025,
title = {Active Subspace of Neural Networks: Structural Analysis and Universal Attacks},
author = {Chunfeng Cui and Kaiqi Zhang and Talgat Daulbaev and Julia Gusak and Ivan Oseledets and Zheng Zhang},
journal= {arXiv preprint arXiv:1910.13025},
year = {2020}
}