口咽器官的领域自适应仿真到真实分割
人工智能
2023-07-31 v2 计算机视觉与模式识别
图像与视频处理
摘要
视频辅助经口气管插管(TI)需要使用内镜,帮助医生将气管导管插入声门而非食管。机器人辅助TI的增长趋势将要求医疗机器人像经验丰富的医生一样区分解剖特征,这可利用有监督深度学习技术来模仿。然而,由于开源数据有限及患者隐私,口咽器官的真实数据集通常难以获取。本工作中,我们提出一种称为IoU排序混合ArtFlow(IRB-AF)的领域自适应仿真到真实框架,用于口咽器官的图像分割。该框架包括一种称为IoU排序混合(IRB)的图像混合策略与风格迁移方法ArtFlow。其中,IRB缓解了因数据集领域差异大导致的分割性能差问题;而引入ArtFlow以进一步减小数据集间差异。由SOFA框架生成的虚拟口咽图像数据集被用作语义分割的学习对象,以应对实际内镜图像可用性有限的问题。我们将IRB-AF与最先进的领域自适应分割模型相结合。结果表明,我们的方法在进一步提升分割精度与训练稳定性方面具有优越性能。
引用
@article{arxiv.2305.10883,
title = {Domain Adaptive Sim-to-Real Segmentation of Oropharyngeal Organs},
author = {Guankun Wang and Tian-Ao Ren and Jiewen Lai and Long Bai and Hongliang Ren},
journal= {arXiv preprint arXiv:2305.10883},
year = {2023}
}
备注
The manuscript is accepted by Medical & Biological Engineering & Computing. Code and dataset: https://github.com/gkw0010/EISOST-Sim2Real-Dataset-Release