利用自监督学习挖掘未标注内镜视频数据的潜力
计算机视觉与模式识别
2018-02-01 v3
摘要
外科数据科学是一个新兴的研究领域，旨在观察患者治疗过程的各个方面，以便在正确的时间提供正确的辅助。由于基于深度学习的自动图像标注方法取得了突破性的成功，参考标注的可用性正成为该领域算法训练的主要瓶颈。本文旨在研究自监督学习的概念以解决此问题。我们的方法基于如下假设：未标注的视频数据可用于学习目标域的表示，当用作预训练时，能够提升最先进机器学习算法的性能。该方法的核心是一个基于目标域原始内镜视频数据的辅助任务，用于初始化目标任务的卷积神经网络（CNN）。在本文中，我们提出以基于生成对抗网络（GAN）的架构对医学图像进行重新着色作为辅助任务。该方法的一个变体包含一个基于相关域目标任务标注数据的第二步预训练。我们以医学器械分割作为目标任务对两种变体进行了验证。所提出的方法可用于大幅减少训练CNN所需的手动标注工作量。与从零开始生成标注数据的基线方法相比，我们的方法在探索性实验中将标注图像数量减少了多达75%，且不牺牲性能。我们的方法还优于其他CNN预训练方法，例如使用目标任务（本例中为分割）在公开可用的非医学或医学数据上进行预训练。由于该方法高效利用了可用的（非）公开与（未）标注数据，其有潜力成为CNN（预）训练的有力工具。
引用
@article{arxiv.1711.09726,
title = {Exploiting the potential of unlabeled endoscopic video data with self-supervised learning},
author = {Tobias Ross and David Zimmerer and Anant Vemuri and Fabian Isensee and Manuel Wiesenfarth and Sebastian Bodenstedt and Fabian Both and Philip Kessler and Martin Wagner and Beat Müller and Hannes Kenngott and Stefanie Speidel and Annette Kopp-Schneider and Klaus Maier-Hein and Lena Maier-Hein},
journal= {arXiv preprint arXiv:1711.09726},
year = {2018}
}