基于虚拟到真实图像域转换的逼真内窥镜图像生成方法
图像与视频处理
2022-01-14 v1 计算机视觉与模式识别
摘要
本文提出一种用于内窥镜模拟系统中可视化的逼真图像生成方法。许多医院开展内窥镜诊断与治疗。为减少与内窥镜插入相关的并发症，内窥镜模拟系统被用于内窥镜插入的训练或预演。然而，当前的模拟系统生成的非逼真虚拟内窥镜图像。为提升模拟系统的价值，有必要改善其所生成图像的真实感。我们提出一种用于内窥镜模拟系统的逼真图像生成方法。利用患者的CT体数据通过体绘制方法生成虚拟内窥镜图像。我们采用虚拟到真实图像域转换技术提升虚拟内窥镜图像的真实感。该图像域转换器实现为一个全卷积网络（FCN）。我们通过最小化循环一致性损失函数来训练FCN。FCN使用未配对的虚拟与真实内窥镜图像进行训练。为获得高质量的图像域转换结果，我们对真实内窥镜图像集执行图像清洗。我们尝试使用浅层U-Net、U-Net、深层U-Net以及带有残差单元的U-Net作为图像域转换器。深层U-Net与带有残差单元的U-Net生成了相当逼真的图像。
引用
@article{arxiv.2201.04918,
title = {Realistic Endoscopic Image Generation Method Using Virtual-to-real Image-domain Translation},
author = {Masahiro Oda and Kiyohito Tanaka and Hirotsugu Takabatake and Masaki Mori and Hiroshi Natori and Kensaku Mori},
journal= {arXiv preprint arXiv:2201.04918},
year = {2022}
}
备注
Accepted paper as an oral presentation at the Joint MICCAI workshop MIAR | AE-CAI | CARE 2019