实例语义分割受益于生成对抗网络
计算机视觉与模式识别
2021-12-07 v2
摘要
在设计重建掩码的实例分割网络时，分割常被视为其字面定义——为每一个像素分配一个标签。这导致将该问题视为模板匹配问题，其目标是最小化重建像素与真值像素之间的损失。将重建网络重新视为生成器，我们将预测掩码的问题定义为一个 GANs 博弈框架：分割网络生成掩码，判别网络判定掩码的质量。为展示该博弈，我们给出了对 Mask R-CNN 中通用分割框架的有效修改。我们发现，在特征空间而非像素空间中进行博弈比在像素空间中更有效，从而在判别器与生成器之间实现稳定训练；预测对象坐标应被替换为预测对象的上下文区域；并且总体上对抗损失有助于性能提升，并消除针对不同数据域进行任何自定义设置的需要。我们在多个域中测试了我们的框架，并报告了手机回收、自动驾驶、大规模目标检测和医学腺体方面的表现。我们观察到一般而言 GANs 产生的掩码具有更清晰的边界、能处理杂乱背景、小物体和细节，无论是规则形状还是异质且合并的形状。我们用于复现结果的代码已公开可用。
引用
@article{arxiv.2010.13757,
title = {Instance Semantic Segmentation Benefits from Generative Adversarial Networks},
author = {Quang H. Le and Kamal Youcef-Toumi and Dzmitry Tsetserukou and Ali Jahanian},
journal= {arXiv preprint arXiv:2010.13757},
year = {2021}
}
备注
13 pages, 8 figures