AUPIMO：以高速度和低容错重新定义视觉异常检测基准
摘要
近年来视觉异常检测研究的进展使得在MVTec和VisA等公开基准数据集上的AUROC和AUPRO分数趋近于完美召回，给人一种这些基准已接近解决的印象。然而，高AUROC和AUPRO分数并不总能反映定性性能，这限制了这些指标在实际应用中的有效性。我们认为，缺乏充分评估指标所造成的人为上限限制了该领域的发展，因此重新审视用于评估算法的指标至关重要。为此，我们引入了Per-IMage Overlap（PIMO），一种解决AUROC和AUPRO缺点的新颖指标。PIMO保留了现有指标的基于召回的特性，但引入了两个区别：曲线（及其各自的曲线下面积）的分配是基于每张图像的，并且其X轴仅依赖于正常图像。每张图像测量召回简化了实例分数索引，并且对噪声标注更鲁棒。如我们所示，它还加速了计算，并能够使用统计检验来比较模型。通过对正常图像施加低假阳性容错，PIMO提供了增强的模型验证程序，并突出了数据集之间的性能差异。我们的实验表明，PIMO提供了实际优势和细微的性能洞察，重新定义了异常检测基准——特别是挑战了MVTec AD和VisA数据集已被当代模型解决的观点。可在GitHub上获取：https://github.com/jpcbertoldo/aupimo。
引用
@article{arxiv.2401.01984,
title = {AUPIMO: Redefining Visual Anomaly Detection Benchmarks with High Speed and Low Tolerance},
author = {Joao P. C. Bertoldo and Dick Ameln and Ashwin Vaidya and Samet Akçay},
journal= {arXiv preprint arXiv:2401.01984},
year = {2024}
}
备注
Accepted to BMVC 2024. Official implementation: https://github.com/jpcbertoldo/aupimo. Integrated in anomalib https://github.com/openvinotoolkit/anomalib. This research was conducted during Google Summer of Code 2023 (GSoC 2023) with the anomalib team from Intel's OpenVINO Toolkit