人在回路中的AI——利用折叠性能分歧监控自动化医学图像分割流程

自动标记低性能预测的方法对于将机器学习工作流安全应用于临床实践以及在模型训练期间识别困难病例至关重要。我们提出了一种易于采用的方法，使用在不同数据集折叠上训练的子模型，以其分歧作为模型置信度的替代指标。基于人类观察者间差异值设定的阈值用于确定最终集成模型预测是否需要人工审核。在两个不同数据集（预测肾脏肿瘤的腹部CT和MR）中，我们的框架有效识别了低性能的自动分割结果。将折叠间测试Dice分数最小值低于人类观察者间变异性的图像标记为可疑，可在确保最大集成测试Dice的同时最大化被标记图像数量。当我们将内部训练的模型应用于外部公开数据集（KiTS21）时，被标记图像中的肿瘤小于内部训练数据集中的肿瘤，证明了该方法对标记分布外低性能输入数据的鲁棒性。将折叠间子模型分歧与人类观察者间值比较，是近似模型认知不确定性（因相关训练数据不足导致的知识缺失）的有效方式——这是在临床实践中采用此类应用的关键功能。