学习多样化结构网络以增强对抗鲁棒性
机器学习
2021-06-21 v4 计算机视觉与模式识别
摘要
在对抗训练（AT）中，主要焦点一直在于目标与优化器，而模型较少被研究，因此所使用的模型仍是标准训练（ST）中的那些经典模型。经典网络架构（NA）在 ST 中通常劣于搜索得到的 NA，在 AT 中理应同样如此。本文中我们认为，NA 与 AT 不能独立处理，因为给定数据集，ST 中的最优 NA 在 AT 中将不再最优。也就是说，AT 本身耗时；若我们直接在 AT 中于大搜索空间上搜索 NA，计算在实际中不可行。因此，我们提出多样化结构网络（DS-Net），以显著缩减搜索空间规模：我们仅考虑预定义的原子块而非底层操作，其中原子块是如残差块般久经考验的基本构件。原子块数量很少，从而我们可以对 DS-Net 中所有原子块加权，而非在搜索块中寻找最佳者，这是在探索多样结构与利用最佳结构间的关键权衡。实证结果展示了 DS-Net（即对原子块加权）的优势。
引用
@article{arxiv.2102.01886,
title = {Learning Diverse-Structured Networks for Adversarial Robustness},
author = {Xuefeng Du and Jingfeng Zhang and Bo Han and Tongliang Liu and Yu Rong and Gang Niu and Junzhou Huang and Masashi Sugiyama},
journal= {arXiv preprint arXiv:2102.01886},
year = {2021}
}
备注
ICML2021, code: https://github.com/d12306/dsnet