Res$^2$CLIP：基于残差-残差对齐的few-shot通用异常检测
计算机视觉与模式识别
2026-05-18 v1
摘要
Few-shot通用异常检测要求模型在无需重新训练的情况下对新类别进行泛化，这在样本稀缺且类别快速变化的实际场景中提出了重大挑战。现有的CLIP基方法面临两个主要挑战：粗粒度统一文本提示难以适应前景-背景细粒度差异，导致跨粒度不匹配；而在辅助数据集上微调会破坏CLIP内在的开放世界泛化能力，因数据域迁移导致跨类别泛化性能 degradation。为此，我们提出将多模态对齐完全转移到统一的残差空间中，该残差表示天然消除跨区域和类别特定偏差的细粒度正常特征差异，从而同时解决上述问题。基于此洞见，设计了ResCLIP——首个在CLIP残差空间内对称桥接视觉与文本模态的残差到残差对齐框架。该框架从残差视角发展为三个分支：基于文本提示的分支、基于视觉提示的分支，以及 novel 的残差到残差对齐分支。所有可学习优化均约束在残差域内，残差对齐优化目标被设计为迫使模型聚焦于相对异常偏差，而非优化类别特定特征。实验在多个数据集上表明该架构有效。代码可在 https://github.com/hito2448/Res2CLIP 查看。
关键词
引用
@article{arxiv.2605.16171,
title = {Res$^2$CLIP: Few-Shot Generalist Anomaly Detection with Residual-to-Residual Alignment},
author = {Xinyue Liu and Jianyuan Wang and Biao Leng and Shuo Zhang},
journal= {arXiv preprint arXiv:2605.16171},
year = {2026}
}