面向随机语义分割的校准对抗细化方法
计算机视觉与模式识别
2021-08-05 v3
摘要
在语义分割任务中，输入图像往往具有不止一种合理的解读，因此允许多个有效标签。为刻画此类歧义，近期研究探索了可学习预测分布的概率网络。然而，这些网络未必能准确表征经验分布。本文提出一种学习语义图校准预测分布的策略，其中每个预测所关联的概率反映其真实正确似然。为此，我们提出一种新颖的两阶段级联校准对抗细化方法：(i) 以类别交叉熵训练标准分割网络，预测逐像素的语义类别概率分布；(ii) 使用对抗训练的随机网络建模像素间相关性，将第一网络的输出细化为连贯样本。重要的是，为校准细化网络并防止模式崩溃，第二阶段样本的期望与第一阶段预测的概率相匹配。我们在多标注者 LIDC 数据集和注入歧义的改进 Cityscapes 数据集上取得最先进结果，证明了该方法的通用性与鲁棒性。此外，我们通过在玩具回归数据集上实验，表明其核心设计可适配其他需要学习校准预测分布的任务。我们的方法开源实现见 https://github.com/EliasKassapis/CARSSS。
引用
@article{arxiv.2006.13144,
title = {Calibrated Adversarial Refinement for Stochastic Semantic Segmentation},
author = {Elias Kassapis and Georgi Dikov and Deepak K. Gupta and Cedric Nugteren},
journal= {arXiv preprint arXiv:2006.13144},
year = {2021}
}
备注
Accepted at ICCV 2021