AFiRe：面向放射学图像的解剖学驱动的自监督学习以实现细粒度表征
计算机视觉与模式识别
2025-04-23 v2
摘要
当前自监督方法（如对比学习）主要聚焦于全局判别，忽视了实现准确放射学分析所必需的关键细粒度解剖细节。为此，我们提出了面向放射学图像分析的解剖学驱动自监督框架，以增强细粒度表征（AFiRe）。AFiRe的核心思想是将解剖学一致性与Vision Transformer的独特token处理特征相结合。具体而言，AFiRe协同进行两种自监督方案：（i）基于解剖结构和范畴一致性对图像token进行对齐的token级解剖学引导对比学习，从而增强细粒度空间-解剖学判别；（ii）针对局部异常的像素级异常消除恢复，以细致的几何信息细化所学判别。此外，我们提出了合成病灶掩码，以增强解剖学多样性同时保持内部一致性，通常被传统数据增强（如裁切和仿射变换）破坏。实验结果表明，AFiRe：（i）提供了稳健的解剖学判别，与最先进的对比学习方法相比，实现了更一致的特征聚类；（ii）在多标签分类任务中表现出优异的泛化能力，超过7种放射学特定自监督方法；（iii）集成细粒度信息，仅使用图像级标注即可实现精确的异常检测。
引用
@article{arxiv.2504.10972,
title = {AFiRe: Anatomy-Driven Self-Supervised Learning for Fine-Grained Representation in Radiographic Images},
author = {Yihang Liu and Lianghua He and Ying Wen and Longzhen Yang and Hongzhou Chen},
journal= {arXiv preprint arXiv:2504.10972},
year = {2025}
}