通过整体自监督学习推进以人为中心的 AI 以实现稳健的 X 射线分析
计算机视觉与模式识别
2024-05-03 v1 人工智能
摘要
AI 基础模型在包括放射学等医学领域在内的各种应用中正获得越来越多的关注。然而，医学基础模型往往只在有限的 tasks 上进行测试，其泛化能力和偏差尚未被充分探索。我们提出了 RayDINO，这是一个在 873k 张胸部 X 射线上通过自监督训练的大型视觉编码器。我们在九个放射学 tasks 上将 RayDINO 与先前的 SOTA 模型进行了比较，从分类和密集分割到文本生成，并对我们模型的人群、年龄和性别偏差进行了深入分析。我们的研究结果表明，自监督使得以患者为中心的 AI 成为可能，这在临床工作流程和对 X 射线的整体解读中非常有用。借助 RayDINO 和小型任务特定的适配器，我们达到了 SOTA 结果，提高了对未见人群的泛化能力，同时减轻了偏差，这展示了基础模型的真正前景：多功能性和稳健性。
引用
@article{arxiv.2405.01469,
title = {Advancing human-centric AI for robust X-ray analysis through holistic self-supervised learning},
author = {Théo Moutakanni and Piotr Bojanowski and Guillaume Chassagnon and Céline Hudelot and Armand Joulin and Yann LeCun and Matthew Muckley and Maxime Oquab and Marie-Pierre Revel and Maria Vakalopoulou},
journal= {arXiv preprint arXiv:2405.01469},
year = {2024}
}