SyntheX：通过计算机模拟实验扩展基于学习的X射线图像分析
图像与视频处理
2022-06-14 v1 计算机视觉与模式识别
机器学习
摘要
人工智能（AI）现已能实现医学图像的自动解读以供临床使用。然而，AI在介入图像（相对于分诊或诊断图像）方面的潜在用途，例如手术中的引导，仍基本未被开发。这是因为外科AI系统目前通过使用活体手术中收集的数据进行事后分析来训练，存在根本性与实践性局限，包括伦理考量、费用、可扩展性、数据完整性以及缺乏真值。在此，我们证明从人体模型创建逼真模拟图像是大规模现场数据收集的可行替代与补充。我们展示在逼真合成数据上训练AI图像分析模型，并结合当代域泛化或域适应技术，可使模型在真实数据上表现与在精确匹配的真实数据训练集上训练的模型相当。由于基于人体模型的训练数据合成易于扩展，我们发现这种用于X射线图像分析的模型迁移范式（称为SyntheX）甚至可因在更大数据集上训练的有效性而优于真实数据训练的模型。我们在三项临床任务上展示SyntheX的潜力：髋部图像分析、手术机器人工具检测以及COVID-19肺部病变分割。SyntheX为大幅加速基于X射线的医学智能系统的构思、设计与评估提供了机会。此外，模拟图像环境提供了测试新型器械、设计互补手术方案以及设想改善结果、节省时间或减轻人为误差的新技术的可能，免受活体人体数据收集的伦理与实践考量限制。
引用
@article{arxiv.2206.06127,
title = {SyntheX: Scaling Up Learning-based X-ray Image Analysis Through In Silico Experiments},
author = {Cong Gao and Benjamin D. Killeen and Yicheng Hu and Robert B. Grupp and Russell H. Taylor and Mehran Armand and Mathias Unberath},
journal= {arXiv preprint arXiv:2206.06127},
year = {2022}
}