通过循环分割GAN对无标签模态进行实例分割
计算机视觉与模式识别
2022-04-08 v1
摘要
无标签成像模态的实例分割是一项具挑战性但至关重要的任务，因为收集专家标注可能昂贵且耗时。现有工作分割新模态的方式要么是部署在多样训练数据上优化的预训练模型，要么将域翻译与图像分割作为两个独立步骤进行。本工作中，我们提出一种新颖的循环分割生成对抗网络（CySGAN），使用统一框架联合进行图像翻译与实例分割。除用于图像翻译的CycleGAN损失和用于已标注源域的监督损失外，我们引入额外的自监督与基于分割的对抗目标，通过利用无标签目标域图像提升模型性能。我们在以标注电子显微镜（EM）图像和无标签膨胀显微镜（ExM）数据为任务的3D神经元核分割上对所提方法进行了基准测试。我们的CySGAN优于预训练通才模型以及顺序执行图像翻译与分割的基线。我们的实现以及新收集、密集标注的ExM核数据集（命名为NucExM）可在 https://connectomics-bazaar.github.io/proj/CySGAN/index.html 获取。
引用
@article{arxiv.2204.03082,
title = {Instance Segmentation of Unlabeled Modalities via Cyclic Segmentation GAN},
author = {Leander Lauenburg and Zudi Lin and Ruihan Zhang and Márcia dos Santos and Siyu Huang and Ignacio Arganda-Carreras and Edward S. Boyden and Hanspeter Pfister and Donglai Wei},
journal= {arXiv preprint arXiv:2204.03082},
year = {2022}
}
备注
13 pages with appendix