MERA：面向肺结节诊断的多模态、多尺度自解释模型及显著减少标注需求
计算机视觉与模式识别
2025-04-29 v1
摘要
肺癌是全球癌症死亡原因的首要因素，强调了及时检测对更好患者预后的重要性。肺结节往往是肺癌的早期指标， necessitates 准确、及时的诊断。尽管解释性人工智能（XAI）取得了进展，但许多现有系统在提供清晰、综合的解释方面存在挑战，尤其是在标注数据有限的情况下。本研究引入 MERA，一种为肺结节诊断设计的多模态、多尺度自解释模型，以显著减少标注需求。MERA 集成了无监督和弱监督学习策略（自监督学习技术和 Vision Transformer 架构用于无监督特征提取），并通过在学习到的潜在空间中利用半监督主动学习来实现稀疏标注的层次化预测机制。MERA 在多个层面解释其决策：通过语义潜在空间聚类实现模型级全局解释，通过显示相似实例实现案例级基于案例的解释，通过注意力图实现局部视觉解释，通过关键结节属性实现概念解释。在公开的 LIDC 数据集上进行的评估表明，MERA 在诊断准确率和自解释性方面均优于现有方法。即使仅使用 1% 的标注样本，MERA 的诊断准确率也可与或超过需要完全标注的领先方法相当。该模型的内在设计为临床实践提供了全面、稳健的多层次解释，增强了可信度和透明度。 demonstrated 无监督和弱监督学习的可行性，降低了将诊断 AI 部署到更广泛医疗领域的门槛。我们的完整代码已开源发布：https://github.com/diku-dk/credanno。
引用
@article{arxiv.2504.19357,
title = {MERA: Multimodal and Multiscale Self-Explanatory Model with Considerably Reduced Annotation for Lung Nodule Diagnosis},
author = {Jiahao Lu and Chong Yin and Silvia Ingala and Kenny Erleben and Michael Bachmann Nielsen and Sune Darkner},
journal= {arXiv preprint arXiv:2504.19357},
year = {2025}
}