预测 AI 结肠镜模型对未见数据的泛化能力
图像与视频处理
2024-03-25 v3 人工智能
计算机视觉与模式识别
计算机与社会
摘要
背景：AI 结肠镜算法的泛化性对于在临床实践中获得更广泛的采用至关重要。然而，当前评估在未见数据上性能的技术需要昂贵且耗时的标签。方法：我们使用“掩码三角网络”(Masked Siamese Network, MSN) 来识别未见数据中的新现象，并预测结肠息肉检测器的性能。MSN 训练用于预测被遮盖的结肠息肉图像区域，无需任何标签。我们测试 MSN 在仅以以色列数据训练的情况下，能否检测未见技术，即狭窄带成像(NBI) 和色谱内窥镜(CE)，以及来自日本的结肠镜(354 项视频，128 小时)。我们还测试 MSN 能否预测在两国的结肠镜上进行的计算机辅助检测(CADe) 结肠息肉的性能，尽管 MSN 没有在日本的数据上训练。结果：MSN 使用无标签的 Fréchet 距离正确识别 NBI 和 CE 在以色列白光图像中的相似性小于日本白光图像(双调检验，|z| > 496, p < 10^-8)，两者都达到了 99% 的准确率，预测 CE 的性能优于我们的启发式方法(90% vs 79%)，尽管仅以白光训练，且是唯一对噪声标签鲁健的方法。MSN 在以色列和日本结肠镜上的 CADe 结肠息肉检测器性能预测分别为 r=0.79 和 r=0.37。随着对日本检测器性能的少量样本进行训练，MSN 对日本性能的预测得到改善(r=0.56)。结论：我们的技术可以识别临床数据中的分布迁移，并在无标签的情况下预测 CADe 检测器在未见数据上的性能。我们的自监督方法有助于检测实际数据与训练数据之间的差异，例如在不同医院之间或数据从训练中发生实质性变化。MSN 在结肠镜之外的医学图像领域具有应用潜力。
引用
@article{arxiv.2403.09920,
title = {Predicting Generalization of AI Colonoscopy Models to Unseen Data},
author = {Joel Shor and Carson McNeil and Yotam Intrator and Joseph R Ledsam and Hiro-o Yamano and Daisuke Tsurumaru and Hiroki Kayama and Atsushi Hamabe and Koji Ando and Mitsuhiko Ota and Haruei Ogino and Hiroshi Nakase and Kaho Kobayashi and Masaaki Miyo and Eiji Oki and Ichiro Takemasa and Ehud Rivlin and Roman Goldenberg},
journal= {arXiv preprint arXiv:2403.09920},
year = {2024}
}