ATAC：基于增强的CLIP测试时对抗性修正
计算机视觉与模式识别
2026-04-07 v3
摘要
尽管CLIP在零样本图像-文本匹配方面取得了显著的成功，但其对图像上的对抗性扰动仍然高度脆弱。由于对抗性微调代价高昂，最近的研究探索了 various test-time defense strategies;然而，这些方法仍表现出有限的鲁棒性。本文重新审视此问题，提出一种简单而有效的策略：基于增强的测试时对抗性修正（ATAC）。该方法直接在CLIP的嵌入空间中运作，计算增强引起的漂移向量，以推断语义恢复方向，并根据这些潜在漂移的角度一致性进行嵌入修正。在广泛的基准测试中，ATAC始终实现了卓越的鲁棒性，平均优于之前的最新方法近50%，同时仅需最小的计算开销。此外，ATAC在非常规和极端设置下仍保持最新的鲁棒性，甚至在针对性攻击下也能实现非平凡的鲁棒性。我们的结果表明，ATAC是一种在CLIP嵌入空间中实现测试时对抗防御新范式的高效方法。代码已公开：https://github.com/kylin0421/ATAC
引用
@article{arxiv.2511.17362,
title = {ATAC: Augmentation-Based Test-Time Adversarial Correction for CLIP},
author = {Linxiang Su and András Balogh},
journal= {arXiv preprint arXiv:2511.17362},
year = {2026}
}
备注
16 pages