更进一步:平坦性助力早停以提升对抗样本可迁移性
机器学习
2024-02-21 v2 计算机视觉与模式识别
机器学习
摘要
可迁移性是指对抗样本能被除其生成所用替代模型之外的其他模型误分类的性质。已有研究表明,早停替代模型的训练可显著提升可迁移性。对此的一个常见解释假设是:深度神经网络(DNNs)先学习更通用因而更好的替代所需的鲁棒特征,随后在训练后期学习更脆弱因而更差的替代所需的非鲁棒特征。首先,我们利用可迁移性作为表征相似性的代理,倾向于反驳该假设。继而,我们建立可迁移性与参数空间中损失景观探索之间的联系,聚焦于受早停影响的锐度。这引导我们评估以同时最小化损失值与损失锐度为目标的七种最小化器训练的替代模型。其中,SAM 持续以最高 28.8 个百分点超越早停。我们发现,来自大平坦邻域的强 SAM 正则化与可迁移性紧密关联。最后,最优锐度感知最小化器与其他训练方法相比具竞争力,并补充了现有可迁移性技术。
引用
@article{arxiv.2304.02688,
title = {Going Further: Flatness at the Rescue of Early Stopping for Adversarial Example Transferability},
author = {Martin Gubri and Maxime Cordy and Yves Le Traon},
journal= {arXiv preprint arXiv:2304.02688},
year = {2024}
}
备注
Version 2: originally submitted in April 2023 and revised in February 2024