R.I.P.: 面向持续测试时适应的简单黑盒攻击
机器学习
2024-12-03 v1 人工智能
摘要
测试时适应（TTA）作为一种解决机器学习中持续领域漂移的 promising 方法，允许模型参数在测试时通过对无标签测试数据进行自监督学习而发生变化。同时，这也不利于模型随时间产生性能下降的不可预见漏洞。通过一种简单的理论持续 TTA 模型，我们成功识别出测试数据采样过程中的一种风险，可能轻易降低持续 TTA 模型的性能。我们将这种风险称为重新使用错误预测（RIP），TTA 攻击者可利用该风险，或作为一般 TTA 用户意外查询的结果。RIP 所带来的风险是极为真实的，因为它无需获取模型参数或修改测试样本。正是由于这些简单的要求，使得 RIP 成为首个脱颖于现有白盒尝试之中的黑盒 TTA 攻击算法。我们对最新持续 TTA 方法在面对 RIP 攻击时的性能进行了广泛基准测试，提供了对其成功性的洞见，并提出了可能增强未来持续 TTA 系统韧性的潜在道路。
引用
@article{arxiv.2412.01154,
title = {R.I.P.: A Simple Black-box Attack on Continual Test-time Adaptation},
author = {Trung-Hieu Hoang and Duc Minh Vo and Minh N. Do},
journal= {arXiv preprint arXiv:2412.01154},
year = {2024}
}