中文

口咽器官的领域自适应仿真到真实分割

人工智能 2023-07-31 v2 计算机视觉与模式识别 图像与视频处理

摘要

视频辅助经口气管插管(TI)需要使用内镜,帮助医生将气管导管插入声门而非食管。机器人辅助TI的增长趋势将要求医疗机器人像经验丰富的医生一样区分解剖特征,这可利用有监督深度学习技术来模仿。然而,由于开源数据有限及患者隐私,口咽器官的真实数据集通常难以获取。本工作中,我们提出一种称为IoU排序混合ArtFlow(IRB-AF)的领域自适应仿真到真实框架,用于口咽器官的图像分割。该框架包括一种称为IoU排序混合(IRB)的图像混合策略与风格迁移方法ArtFlow。其中,IRB缓解了因数据集领域差异大导致的分割性能差问题;而引入ArtFlow以进一步减小数据集间差异。由SOFA框架生成的虚拟口咽图像数据集被用作语义分割的学习对象,以应对实际内镜图像可用性有限的问题。我们将IRB-AF与最先进的领域自适应分割模型相结合。结果表明,我们的方法在进一步提升分割精度与训练稳定性方面具有优越性能。

关键词

引用

@article{arxiv.2305.10883,
  title  = {Domain Adaptive Sim-to-Real Segmentation of Oropharyngeal Organs},
  author = {Guankun Wang and Tian-Ao Ren and Jiewen Lai and Long Bai and Hongliang Ren},
  journal= {arXiv preprint arXiv:2305.10883},
  year   = {2023}
}

备注

The manuscript is accepted by Medical & Biological Engineering & Computing. Code and dataset: https://github.com/gkw0010/EISOST-Sim2Real-Dataset-Release