抽取鲁棒抽奖票：随机初始化网络中存在天生具鲁棒性的子网络
机器学习
2025-01-07 v4
摘要
深度神经网络（DNNs）已知易受对抗攻击，即对输入的难以察觉的扰动可使在干净图像上训练的DNNs做出错误预测。为此，对抗训练目前是最有效的防御方法，其通过即时生成的对抗样本扩充训练集。有趣的是，我们首次发现，在未经任何模型训练的随机初始化网络中存在具有天生鲁棒性的子网络，其鲁棒准确率与模型规模相当的对抗训练网络相匹配甚至超越，这表明针对模型权重的对抗训练对于对抗鲁棒性并非不可或缺。我们将此类子网络命名为鲁棒抽奖票（Robust Scratch Tickets, RSTs），其本身也具有高效性。与流行的彩票假说不同，原始稠密网络与所识别的RSTs均无需训练。为验证并理解这一引人注目的发现，我们进一步开展了大量实验，研究不同模型、数据集、稀疏模式和攻击下RSTs的存在性与性质，从而得出关于DNNs鲁棒性与其初始化/过参数化之间关系的见解。此外，我们识别出从同一随机初始化稠密网络中抽取的不同稀疏率RSTs之间较差的对抗可迁移性，并提出了一种随机RST切换（Random RST Switch, R2S）技术，即在不同的RSTs间随机切换，作为一种构建于RSTs之上的新型防御方法。我们相信关于RSTs的发现为研究模型鲁棒性开辟了新视角，并拓展了彩票假说。
引用
@article{arxiv.2110.14068,
title = {Drawing Robust Scratch Tickets: Subnetworks with Inborn Robustness Are Found within Randomly Initialized Networks},
author = {Yonggan Fu and Qixuan Yu and Yang Zhang and Shang Wu and Xu Ouyang and David Cox and Yingyan Celine Lin},
journal= {arXiv preprint arXiv:2110.14068},
year = {2025}
}
备注
Accepted at NeurIPS 2021