TRS：通过促进梯度多样性和模型平滑性降低可迁移性的集成方法
机器学习
2021-11-09 v2
摘要
对抗可迁移性是一种引人注目的性质——针对一个模型精心制作的对抗扰动也对另一模型有效，而这些模型来自不同模型族或训练过程。为了更好地保护 ML 系统免受对抗攻击，提出了若干问题：对抗可迁移性的充分条件是什么并如何界定它？是否存在降低对抗可迁移性以提升集成 ML 模型鲁棒性的方法？为回答这些问题，本工作中我们首先理论分析并概述模型间对抗可迁移性的充分条件；然后提出一种实用算法以降低集成内基模型间的可迁移性以提升其鲁棒性。我们的理论分析表明，仅促进基模型梯度间正交性不足以确保低可迁移性；同时，模型平滑性是控制可迁移性的重要因素。我们还给出了特定条件下对抗可迁移性的下界与上界。受理论分析启发，我们提出一种有效的可迁移性降低平滑（TRS）集成训练策略，通过强制基模型间梯度正交与模型平滑来训练具低可迁移性的鲁棒集成。我们在 TRS 上进行了大量实验，并与 6 种最先进集成基线在多个数据集上针对 8 种白盒攻击进行比较，表明所提 TRS 显著优于所有基线。
引用
@article{arxiv.2104.00671,
title = {TRS: Transferability Reduced Ensemble via Encouraging Gradient Diversity and Model Smoothness},
author = {Zhuolin Yang and Linyi Li and Xiaojun Xu and Shiliang Zuo and Qian Chen and Benjamin Rubinstein and Pan Zhou and Ce Zhang and Bo Li},
journal= {arXiv preprint arXiv:2104.00671},
year = {2021}
}
备注
Proceedings of the 35th Conference on Neural Information Processing Systems (NeurIPS 2021)