利用非配对图像到图像翻译生成用于腹腔镜图像处理任务的大规模标注数据集
机器学习
2019-07-08 v1 计算机视觉与模式识别
机器学习
摘要
在医学领域，大规模训练数据集与基准的缺乏常常是训练深度神经网络的制约因素。与昂贵的手动标注相比，计算机仿真能以最少的人工生成大规模且完全标注的数据集。然而，在仿真数据上训练的模型通常不能很好地迁移到真实场景。为弥合仿真与真实腹腔镜图像之间的域差距，我们利用非配对图像到图像翻译的最新进展。我们扩展了一种图像到图像翻译方法，基于简单腹腔镜仿真的图像生成多样化且外观逼真的合成图像。通过引入确保在翻译过程中图像内容得以保留的手段，我们保证仿真图像给定的标签对其外观逼真的翻译依然有效。以此方式，我们能够生成具有真实外观的大规模全标注腹腔镜合成图像数据集。我们展示该数据集可用于训练腹腔镜图像肝脏分割任务模型。我们在部分患者中无需手动标注任何腹腔镜图像即取得高达0.89的平均Dice分数，并表明使用我们的合成数据预训练模型可大幅提升其性能。该合成数据集将公开提供，并完全标注分割图、深度图、法向图以及工具与相机位置(http://opencas.dkfz.de/image2image)。
引用
@article{arxiv.1907.02882,
title = {Generating large labeled data sets for laparoscopic image processing tasks using unpaired image-to-image translation},
author = {Micha Pfeiffer and Isabel Funke and Maria R. Robu and Sebastian Bodenstedt and Leon Strenger and Sandy Engelhardt and Tobias Roß and Matthew J. Clarkson and Kurinchi Gurusamy and Brian R. Davidson and Lena Maier-Hein and Carina Riediger and Thilo Welsch and Jürgen Weitz and Stefanie Speidel},
journal= {arXiv preprint arXiv:1907.02882},
year = {2019}
}
备注
Accepted at MICCAI 2019