认证 PEFTSmoothing：基于随机平滑的参数高效微调
机器学习
2024-04-09 v1 密码学与安全
摘要
随机平滑是评估深度学习模型对 范数下对抗扰动鲁棒性的主要认证鲁棒性方法，它通过向输入图像添加各向同性高斯噪声并返回基分类器的多数投票结果来实现。在理论上，它提供了一个认证范数界，确保对抗样本的预测在该界内是稳定的。限制其广泛采用的一个显著约束是，必须从头完全重新训练基模型才能获得鲁棒版本。这是因为基模型无法学习噪声增强数据分布以给出准确的投票。克服这一挑战的一种直观方法是引入一个定制训练的去噪器来消除噪声。然而，这种方法效率低下且非最优。受近期大模型训练过程的启发，我们探索了一种名为 PEFTSmoothing 的替代方法，在白盒和黑盒设置中，利用参数高效微调（PEFT）方法使基模型适应学习高斯噪声增强数据。大量结果证明了 PEFTSmoothing 的有效性和效率，它使我们在 CIFAR-10 上对 ViT 认证了超过 98% 的准确率，比 SoTA 去噪平滑高出 20%；在 ImageNet 上认证了超过 61% 的准确率，比基于 CNN 的去噪器高 30%，且与基于 Diffusion 的去噪器相当。
引用
@article{arxiv.2404.05350,
title = {Certified PEFTSmoothing: Parameter-Efficient Fine-Tuning with Randomized Smoothing},
author = {Chengyan Fu and Wenjie Wang},
journal= {arXiv preprint arXiv:2404.05350},
year = {2024}
}