基于对抗攻击可迁移性的神经架构相似性研究

近年来，许多深度神经架构被开发用于图像分类。它们相似或不相似，以及哪些因素导致其（不）相似性，仍令人好奇。为解答该问题，我们旨在设计一种神经架构间定量且可扩展的相似性度量。我们从对抗攻击可迁移性包含与输入梯度和决策边界相关的信息（广泛用于理解模型行为）这一观察出发，提出基于攻击可迁移性的相似性（SAT）。我们利用所提相似性函数对 69 个最先进的 ImageNet 分类器进行大规模分析以回答该问题。此外，我们利用模型相似性观察到神经架构相关现象：在特定条件下，模型多样性可带来模型集成与知识蒸馏的更优性能。我们的结果为为何有必要开发具有不同组件的多样化神经架构提供了见解。