揭示测试时适应的对抗风险
机器学习
2023-02-07 v2 密码学与安全
摘要
近来，测试时适应(TTA)被提出作为应对分布偏移的一种有前景的方案。它允许基础模型在推理期间利用（无标签）测试数据批次的信息来适应未预见到的分布。然而，基于良性样本的预测会受到同批次中恶意样本影响的洞察，我们揭示了TTA的一种新型安全漏洞。为利用该漏洞，我们提出分布入侵攻击(DIA)，其向测试批次中注入一小部分恶意数据。DIA导致使用TTA的模型对良性且未被扰动的测试数据产生误分类，为攻击者提供了一种在规范机器学习流程中不可行的新能力。通过综合评估，我们展示了我们的攻击在六个TTA方法上的多个基准中具有高效性。作为应对，我们遵循“安全 by design”原则，研究了两种对策以加固现有不安全的TTA实现。总之，我们希望我们的发现能使社区意识到部署TTA中的效用-安全权衡，并为开发鲁棒TTA方法提供有价值的见解。
引用
@article{arxiv.2301.12576,
title = {Uncovering Adversarial Risks of Test-Time Adaptation},
author = {Tong Wu and Feiran Jia and Xiangyu Qi and Jiachen T. Wang and Vikash Sehwag and Saeed Mahloujifar and Prateek Mittal},
journal= {arXiv preprint arXiv:2301.12576},
year = {2023}
}