基于记忆增强多级交叉注意力掩码自编码器的医学图像无监督异常检测
图像与视频处理
2023-08-23 v2 计算机视觉与模式识别
摘要
无监督异常检测 (UAD) 旨在通过仅使用包含正常图像的训练集优化检测器来发现异常图像。UAD 方法可基于重建方法、自监督方法以及 Imagenet 预训练模型。基于图像重建误差检测异常的重建方法具有优势，因为它们不依赖于自监督方法所需的特定问题代理任务的设计，也不依赖于从非医学数据集预训练模型的不可靠迁移。然而，重建方法可能会失败，因为即使对于异常图像，它们也可能具有较低的重建误差。在本文中，我们引入了一种新的基于重建的 UAD 方法，以解决异常图像的这种低重建误差问题。我们的 UAD 方法，即记忆增强多级交叉注意力掩码自编码器 (MemMC-MAE)，是一种基于 transformer 的方法，由用于编码器的新型记忆增强自注意力算子和用于解码器的新型多级交叉注意力算子组成。MemMC-MAE 在重建过程中掩码输入图像的大部分区域，降低了产生低重建误差的风险，因为异常很可能被掩码而无法重建。然而，当异常未被掩码时，存储在编码器记忆中的正常模式与解码器的多级交叉注意力相结合，将约束对异常的准确重建。我们表明，我们的方法在结肠镜检查、肺炎和 covid-19 胸部 X 射线数据集上实现了 SOTA 异常检测与定位。
引用
@article{arxiv.2203.11725,
title = {Unsupervised Anomaly Detection in Medical Images with a Memory-augmented Multi-level Cross-attentional Masked Autoencoder},
author = {Yu Tian and Guansong Pang and Yuyuan Liu and Chong Wang and Yuanhong Chen and Fengbei Liu and Rajvinder Singh and Johan W Verjans and Mengyu Wang and Gustavo Carneiro},
journal= {arXiv preprint arXiv:2203.11725},
year = {2023}
}
备注
Accepted to MICCAI MLMI2023