利用多尺度对抗注意力门从涂鸦中学习分割
计算机视觉与模式识别
2021-04-05 v3
摘要
在像素级标注的大规模细粒度图像分割数据集难以获取，尤其在医学影像中，其标注还需要专家知识。弱监督学习可依赖较弱形式的标注（如涂鸦）来训练模型。在此，我们通过对抗博弈利用涂鸦标注学习分割。借助未配对的分割掩码，我们训练了一个多尺度 GAN 以在多种分辨率下生成逼真的分割掩码，同时利用涂鸦学习其在图像中的正确位置。模型成功的关键在于一种新颖的注意力门机制，我们以对抗信号对其施加条件，使其充当形状先验，从而在多尺度上实现更好的目标定位。在对抗条件作用下，分割器学习到的注意力图具有语义性，抑制目标外的噪声激活，并缓解分割器深层中的梯度消失问题。我们在多个医学(ACDC、LVSC、CHAOS)和非医学(PPSS)数据集上评估了我们的模型，报告的性能水平与采用全标注分割掩码训练的模型相当。我们还展示了在多种设置下的扩展：半监督学习；结合多个涂鸦来源（众包场景）以及多任务学习（结合涂鸦与掩码监督）。我们在 https://vios-s.github.io/multiscale-adversarial-attention-gates 发布了 ACDC 数据集的专家涂鸦标注及实验所用代码。
引用
@article{arxiv.2007.01152,
title = {Learning to Segment from Scribbles using Multi-scale Adversarial Attention Gates},
author = {Gabriele Valvano and Andrea Leo and Sotirios A. Tsaftaris},
journal= {arXiv preprint arXiv:2007.01152},
year = {2021}
}
备注
Paper accepted for publication at: IEEE Transaction on Medical Imaging - Project page: https://vios-s.github.io/multiscale-adversarial-attention-gates