基于概念的双阶段方法用于皮肤皮损诊断的可解释性与信任提升
计算机视觉与模式识别
2025-03-17 v2 机器学习
摘要
阻碍深度学习系统在临床应用的主要挑战是标注数据稀缺以及缺乏可解释性和信任。概念瓶颈模型（CBM）通过限制最终疾病预测基于一组人类可理解的概念来实现内在可解释性。然而，这种内在可解释性以更大的标注负担为代价。此外，添加新概念需要重新训练整个系统。本文引入一种新颖的双阶段方法，以解决这两个挑战。通过模拟CBM的两个阶段，我们利用预训练的视觉语言模型（VLM）自动预测临床概念，并使用即插即用的大型语言模型（LLM）基于预测的概念生成疾病诊断。此外，我们的方法支持测试时的人工干预，纠正预测的概念，从而改善最终诊断并增强决策过程的透明度。我们在三个皮肤皮损数据集上进行验证，表明该方法优于传统CBM和最新可解释方法，无需任何训练，仅需少量标注示例。代码已公开于https://github.com/CristianoPatricio/2-step-concept-based-skin-diagnosis。
引用
@article{arxiv.2411.05609,
title = {A Two-Step Concept-Based Approach for Enhanced Interpretability and Trust in Skin Lesion Diagnosis},
author = {Cristiano Patrício and Luís F. Teixeira and João C. Neves},
journal= {arXiv preprint arXiv:2411.05609},
year = {2025}
}
备注
Published in the Computational and Structural Biotechnology Journal