LC-GAN：基于生成对抗网络的内镜图像图像到图像翻译
图像与视频处理
2020-08-17 v2 计算机视觉与模式识别
摘要
智能视觉在计算机辅助与机器人手术中颇具吸引力。基于深度学习的视觉分析通常需要大规模标注数据集，但医学问题中人工数据标注昂贵且耗时。我们研究一种新颖的跨域策略，通过提出基于生成对抗网络（GANs）的活体-尸体 GAN（LC-GAN）图像到图像翻译模型，以减少对人工数据标注的需求。我们考虑这样一种情形：存在一个已标注的尸体手术数据集，而任务是在未标注的活体手术数据集上进行器械分割。我们训练 LC-GAN 以学习尸体与活体图像之间的映射。对于活体图像分割，我们首先用 LC-GAN 将活体图像翻译为伪尸体图像，然后在真实尸体数据集上训练的模型对伪尸体图像执行分割。所提方法充分利用标注的尸体数据集进行活体图像分割，而无需标注活体数据集。LC-GAN 具有两个不同架构的生成器，其利用了从尸体图像分割任务中学到的深度特征表示。此外，我们提出结构相似性损失与分割一致性损失，以在翻译过程中改善语义一致性。我们的模型实现了更好的图像到图像翻译，并在所提跨域分割任务中带来改进的分割性能。
引用
@article{arxiv.2003.04949,
title = {LC-GAN: Image-to-image Translation Based on Generative Adversarial Network for Endoscopic Images},
author = {Shan Lin and Fangbo Qin and Yangming Li and Randall A. Bly and Kris S. Moe and Blake Hannaford},
journal= {arXiv preprint arXiv:2003.04949},
year = {2020}
}
备注
Accepted by 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS)