AD-DINOv3：用于零样本异常检测的人类感知校准增强 DINOv3
计算机视觉与模式识别
2025-09-19 v2
摘要
零样本异常检测（Zero-Shot Anomaly Detection, ZSAD）旨在从任意新类别中识别异常，提供一种可扩展且高效标注的解决方案。传统方法多基于 CLIP 模型，通过计算视觉与文本嵌入之间的相似度进行异常检测。最近，类似 DINOv3 的视觉基础模型展现出强大的可迁移表示能力。本文首次将 DINOv3 应用于 ZSAD，但这种改编带来了两个关键挑战：（i）大规模预训练数据与异常检测任务之间的领域偏差导致特征对齐问题；（ii）预训练表示中对全局语义的固有偏差常导致细微异常被误解为正常前景对象的一部分，而非被识别为异常区域。为克服这些挑战，我们提出了 AD-DINOv3，一种用于 ZSAD 的新型视觉-语言多模态框架。具体而言，我们将异常检测建模为多模态对比学习问题，其中 DINOv3 作为视觉主干提取 patch tokens 和 CLS token，CLIP 文本编码器为正常和异常提示提供嵌入。为弥合领域差距，在两种模态中引入轻量级适配器，使其表示能够针对异常检测任务进行校准。除上述基线对齐外，我们进一步设计了异常感知校准模块（Anomaly-Aware Calibration Module, AACM），显式引导 CLS token 注意异常区域，而非通用前景语义，从而增强判别性。在八个工业和医疗基准测试上进行大量实验表明，AD-DINOv3 能持续匹配或超越当前最先进的方法。代码将在 https://github.com/Kaisor-Yuan/AD-DINOv3 公开。
引用
@article{arxiv.2509.14084,
title = {AD-DINOv3: Enhancing DINOv3 for Zero-Shot Anomaly Detection with Anomaly-Aware Calibration},
author = {Jingyi Yuan and Jianxiong Ye and Wenkang Chen and Chenqiang Gao},
journal= {arXiv preprint arXiv:2509.14084},
year = {2025}
}