DinoAtten3D：用于 3D 脑 MRI 异常分类的 DinoV2 切片级注意力聚合
图像与视频处理
2025-09-17 v1 人工智能
计算机视觉与模式识别
摘要
医学图像中的异常检测与分类对于早期诊断至关重要，但由于标注数据有限、类别不平衡以及专家标注成本高昂而面临挑战。在广泛的无标签数据集上预训练的新兴视觉基础模型（如 DINOv2）提供了泛化表示，有望缓解这些局限性。在本研究中，我们提出了一种专门针对 3D 医学图像异常分类的基于注意力的全局聚合框架。利用自监督 DINOv2 模型作为预训练特征提取器，我们的方法处理脑 MRI 的单个 2D 轴向切片，并通过软注意力机制分配自适应的切片级重要性权重。为了进一步解决数据稀缺问题，我们采用结合了监督对比学习与类方差正则化的复合损失函数，增强了类间可分性和类内一致性。我们在 ADNI 数据集和一个机构多类头痛队列上验证了我们的框架，证明在数据可用性有限且存在显著类别不平衡的情况下仍具有出色的异常分类性能。我们的结果突出了利用预训练 2D 基础模型结合基于注意力的切片聚合进行稳健的体积异常检测的有效性。我们的实现已在 https://github.com/Rafsani/DinoAtten3D.git 上公开。
引用
@article{arxiv.2509.12512,
title = {DinoAtten3D: Slice-Level Attention Aggregation of DinoV2 for 3D Brain MRI Anomaly Classification},
author = {Fazle Rafsani and Jay Shah and Catherine D. Chong and Todd J. Schwedt and Teresa Wu},
journal= {arXiv preprint arXiv:2509.12512},
year = {2025}
}
备注
ACCEPTED at the ICCV 2025 Workshop on Anomaly Detection with Foundation Models