ExAID：一种用于皮肤病变计算机辅助诊断的多模态解释框架

基于人工智能的计算机辅助诊断（CAD）系统在临床工作流中成功部署的一大障碍是其缺乏透明的决策过程。尽管常用的可解释AI（XAI）方法能提供对不透明算法的某些洞察，此类解释通常晦涩难懂，除训练有素的专家外不易理解。从皮肤镜图像解释皮肤病变良恶性判定的决策尤其需要清晰性，因为 underlying 医学问题定义本身即模糊。本工作提出 ExAID（Explainable AI for Dermatology，皮肤病学可解释AI），一种新颖的生物医学图像分析框架，提供由易于理解的文本解释辅以可视化映射以佐证预测的多模态基于概念的解释。ExAID 依赖概念激活向量将人类概念映射到任意深度学习模型在潜空间所学到的概念，并依赖概念定位图在输入空间中高亮概念。此相关概念识别随后用于构建细粒度文本解释，并补充概念级位置信息，以提供全面连贯的多模态解释。所有信息在用于临床常规的诊断界面中完整呈现。教育模式提供数据集级解释统计及数据与模型探索工具，以助医学研究与教学。通过对 ExAID 严格的定量与定性评估，我们展示了多模态解释即便在错误预测下对 CAD 辅助场景的效用。我们相信 ExAID 将为皮肤科医生提供一种既理解又信任的有效筛查工具。此外，它将成为其他生物医学成像领域类似应用的基础。