基于神经表征随机游走与神经特征空间自监督的涂鸦监督语义分割
计算机视觉与模式识别
2020-11-13 v2
摘要
涂鸦监督语义分割因在无高质量标注下具良好性能而受关注。已有诸多方法：引入他任务精标数据集、用图模型迭代精炼与后处理、或操纵涂鸦标签。本工作旨在无需辅助信息与中间操纵，直接以涂鸦标签监督实现语义分割。具体地，我们通过随机游走在神经表征上施加扩散，并通过自监督在神经特征空间上施加一致性，迫使网络在全数据集上给出稠密且一致的预测。嵌入网络的随机游走计算概率转移矩阵，使神经表征扩散均匀；给定该矩阵，我们对其特征空间施自监督以保图像主要部分一致。除常见涂鸦数据集，我们还在随机收缩甚至丢弃物体涂鸦的修正数据集上实验。结果展示了本方法优越性，甚至可比拟部分全标签监督方法。代码与数据集见 https://github.com/panzhiyi/RW-SS。
引用
@article{arxiv.2011.05621,
title = {Scribble-Supervised Semantic Segmentation by Random Walk on Neural Representation and Self-Supervision on Neural Eigenspace},
author = {Zhiyi Pan and Peng Jiang and Changhe Tu},
journal= {arXiv preprint arXiv:2011.05621},
year = {2020}
}