LOTOS：用于训练鲁棒集成模型的分层正交化
机器学习
2024-10-08 v1 机器学习
摘要
对抗样本的可迁移性是一个已知的属性，威胁着所有可通过黑盒查询访问的分类模型。先前的工作表明，模型的集成对可迁移性更具抗性：对集成中大多数模型有效的对抗样本概率较低。因此，大多数研究工作集中于提高集成的多样性。另一方面，已有工作表明，Lipschitz 连续性可以使模型更具鲁棒性，因为它限制了模型输出随输入小扰动的变化。本文研究了Lipschitz 连续性对可迁移性率的影响。我们表明，虽然较低的Lipschitz 常数增加了单个模型的鲁棒性，但在训练鲁棒集成时并不如在集成中模型之间的可迁移性提升。因此，我们引入LOTOS，用于训练集成，抵消这种不利影响。它通过促进来自集成中任意模型对之间的仿射层转换的前k个子空间之间的正交性来实现。我们理论上表明，对于卷积层，k无需很大，这使得计算开销可忽略不计。通过各种实验，我们表明LOTOS使ResNet-18模型集成在CIFAR-10上针对黑盒攻击的鲁棒准确率提高了6个百分点。它还能够与现有面向训练鲁棒集成的先进方法结合，以提高其鲁棒准确率10.7个百分点。
关键词
引用
@article{arxiv.2410.05136,
title = {LOTOS: Layer-wise Orthogonalization for Training Robust Ensembles},
author = {Ali Ebrahimpour-Boroojeny and Hari Sundaram and Varun Chandrasekaran},
journal= {arXiv preprint arXiv:2410.05136},
year = {2024}
}