无需人工标注的手术器械图像合成与分割

制作人工的、像素级精确的图像分割标签是繁琐且耗时的。当需要时域大量标注图像（例如为手术场景中器械-背景分割训练深度卷积网络）时，这常成为限速因素。计算机视觉界尚无与此任务工业标准相当的大型数据集可用。为规避该问题，我们提议通过利用源自特效的技术并使其服务于训练性能而非视觉吸引力，来自动化生成逼真的训练数据集。前景数据通过在受控环境中将手术器械样本置于色键（即绿幕）之上捕获，从而使相关图像片段的提取变得直接。可通过移动器械与相机并调节光源，在仿真中引入多种光照条件与视角。背景数据通过收集不含器械的视频捕获。在缺乏已有无器械背景视频的情况下，仅需极少的标注工作，即从网上自由获取的外科手术视频中选取不含手术器械的帧。我们比较了将器械融合到组织上的不同方法，并提出了一种利用多种选项优势的新型数据增强方法。我们表明，仅通过在半合成数据上训练一个 vanilla U-Net 并施以简单后处理，便能够匹配在相同网络上于公开可用的人工标注真实数据集训练所得的结果。