通过重写模型决策实现可信赖的皮肤癌诊断

深度神经网络在图像识别任务上已展现出令人瞩目的性能。然而，它们可能严重依赖混杂因素，将数据集中的无关伪影或偏差作为提升性能的线索。当模型基于这些虚假相关性进行决策时，它会变得不可信赖，并在部署到真实场景时导致灾难性后果。在本文中，我们在皮肤癌诊断的背景下探索并尝试解决这一问题。我们在模型训练过程中引入了一种人在回路框架，使用户能够在混杂行为发生时观察并纠正模型的决策逻辑。具体而言，我们的方法通过分析样本的共同出现行为自动发现混杂因素。它能够利用易于获取的概念样本学习混杂概念。通过将黑盒模型的特征表示映射到可解释的概念空间，人类用户可解释该概念并通过一阶逻辑指令进行干预。我们在新构建的、受控良好的皮肤病变数据集及多个公开皮肤病变数据集上系统评估了我们的方法。实验表明，我们的方法无需关于类别分布的先验知识，也不要求完全标注的概念标签，即可有效检测并去除数据集中的混杂因素。我们还表明，我们的方法使模型能够聚焦于临床相关概念，提升了模型推理时的性能与可信度。