TREND：基于可迁移性的鲁棒集成设计
机器学习
2021-03-31 v2 机器学习
摘要
深度学习模型在许多领域保持着最先进的性能，但它们对对抗样本的脆弱性对其在实际场景中的普遍部署构成了威胁。此外，已在某一分类器上生成的对抗输入被证明可迁移到在相似数据上训练的其他分类器，这使得即使模型参数未向攻击者披露，攻击也可能发生。这种可迁移性尚未被系统研究，导致我们对神经网络针对对抗输入的鲁棒性的理解存在缺口。在本工作中，我们研究了网络架构、初始化、优化器、输入、权重和激活量化对对抗样本可迁移性的影响。我们还研究了不同攻击对可迁移性的影响。我们的实验表明，可迁移性受到输入量化和源与目标之间架构不匹配的显著阻碍，不受初始化影响，但优化器的选择被证明至关重要。我们观察到，对于权重和激活量化模型，可迁移性均依赖于架构。为量化可迁移性，我们使用简单度量并展示了该度量在设计一种构建具有改进对抗鲁棒性的集成方法中的效用。在攻击集成时，我们观察到单个集成成员模型的“梯度主导”阻碍了现有攻击。为应对这一点，我们提出了一种新的最先进集成攻击。我们将所提攻击与现有攻击技术进行比较以展示其有效性。最后，我们表明，由精心选择的多样化网络组成的集成比使用单一网络原本可能实现的对抗鲁棒性更好。
引用
@article{arxiv.2008.01524,
title = {TREND: Transferability based Robust ENsemble Design},
author = {Deepak Ravikumar and Sangamesh Kodge and Isha Garg and Kaushik Roy},
journal= {arXiv preprint arXiv:2008.01524},
year = {2021}
}