基于DINOv3嵌入的空间自回归建模用于无监督异常检测
计算机视觉与模式识别
2026-03-04 v1
摘要
DINO模型提供了丰富的patch级表征，最近在无监督异常检测（UAD）中展现出强大的性能。现有大多数方法从正常图像中提取patch嵌入，却忽略了patch之间的位置和邻域关系。这隐含地假设自注意力和位置编码足以在每个patch嵌入中编码足够的上下文信息。此外，规范分布常建模为记忆库或原型基表示，这需要存储大量特征并在推理时进行昂贵的比较，导致显著的内存和计算开销。在本工作中，我们通过提出一种简单高效的框架来解决上述两个限制，显式地使用2D自回归（AR）模型来建模patch嵌入之间的空间和上下文依赖。与存储嵌入或聚类原型不同，我们的方法通过一种AR卷积神经网络（CNN）学习规范分布的紧凑参数模型。在测试阶段，异常检测简化为通过该网络进行单次前向传播，实现快速且内存高效的推理。我们在BMAD基准上进行评估，该基准包含三个医学影像数据集，并与现有方法进行比较，包括最新的DINO-based方法。实验结果表明，显式建模空间依赖在实现具竞争力的异常检测性能方面取得良好结果，同时大幅度减少了推理时间和内存需求。代码可在项目页面获取：https://eerdil.github.io/spatial-ar-dinov3-uad/
引用
@article{arxiv.2603.02974,
title = {Spatial Autoregressive Modeling of DINOv3 Embeddings for Unsupervised Anomaly Detection},
author = {Ertunc Erdil and Nico Schulthess and Guney Tombak and Ender Konukoglu},
journal= {arXiv preprint arXiv:2603.02974},
year = {2026}
}