Mammo-SAE：稀疏自编码器解释乳腺癌概念学习
计算机视觉与模式识别
2025-08-19 v2
摘要
在医学影像等高风险领域，解释性至关重要，因为理解模型决策对于临床采用至关重要。本文引入基于稀疏自编码器（SAE）的解释性方法，用于乳腺成像，通过分析预训练于大规模乳腺图像-报告配对上的 Mammo-CLIP 视觉-语言基础模型。我们在 Mammo-CLIP 上训练了一个基于块的 Mammo-SAE，用于识别和探测与临床相关的乳腺概念（如“质块”和“可疑钙化”）相关的潜在特征。我们的发现表明，SAE 潜在空间中顶级激活的类别级潜在神经元往往倾向于与真实区域对齐，并揭示了影响模型决策过程的若干混淆因素。此外，我们分析了模型在针对改进乳腺概念预测进行下游微调时所依赖的潜在神经元。该研究突显了可解释 SAE 潜在表示在提供关于基础模型各层内部工作的深入见解方面的潜力。该代码将在 https://krishnakanthnakka.github.io/MammoSAE/ 发布。
引用
@article{arxiv.2507.15227,
title = {Mammo-SAE: Interpreting Breast Cancer Concept Learning with Sparse Autoencoders},
author = {Krishna Kanth Nakka},
journal= {arXiv preprint arXiv:2507.15227},
year = {2025}
}
备注
Accepted at Deep Breast Imaging workshop, MICCAI 2025