针对测试时自适应模型的测试时投毒攻击
密码学与安全
2023-08-17 v1
摘要
在真实环境中部署机器学习（ML）模型颇具挑战，因其遭受分布偏移之苦：在原始域上训练的模型无法很好地泛化至不可预见的多样化迁移域。为应对此挑战，已有若干测试时自适应（TTA）方法被提出，以提升目标预训练模型在测试数据下应对偏移分布的泛化能力。TTA的成功归功于在测试期间依据测试样本的分布提示对目标模型持续微调。尽管强大，它也开启了一个新的攻击面，即测试时投毒攻击，这与先前发生于ML模型训练时的投毒攻击（即 adversary 无法干预训练过程）有本质不同。本文针对四种主流TTA方法（包括TTT、DUA、TENT和RPL）实施了首次测试时投毒攻击。具体而言，我们基于代理模型生成投毒样本，并将其输入目标TTA模型。实验结果表明，TTA方法普遍易受测试时投毒攻击。例如， adversary 仅需输入少至10个投毒样本，便可将目标模型性能从76.20%降至41.83%。我们的结果表明，缺乏严格安全评估的TTA算法不适合部署于真实场景。因此，我们主张在TTA方法设计中集成针对测试时投毒攻击的防御。
引用
@article{arxiv.2308.08505,
title = {Test-Time Poisoning Attacks Against Test-Time Adaptation Models},
author = {Tianshuo Cong and Xinlei He and Yun Shen and Yang Zhang},
journal= {arXiv preprint arXiv:2308.08505},
year = {2023}
}
备注
To Appear in the 45th IEEE Symposium on Security and Privacy, May 20-23, 2024