利用运动线索的弱监督语义分割
计算机视觉与模式识别
2017-04-24 v3
摘要
在大量具有强像素级标注的图像上训练的全卷积神经网络（FCNNs）已成为语义分割任务的最先进（state of the art）方法。尽管最近有尝试从图像级弱标注学习FCNN，但它们需要额外约束（如物体尺寸）以获得合理性能。为解决此问题，我们提出运动-CNN（M-CNN），一种新颖的FCNN框架，其融入运动线索并从视频级弱标注学习。我们训练网络的方案使用运动段作为软约束，从而处理噪声运动信息。当在弱标注视频上训练时，我们的方法在PASCAL VOC 2012图像分割基准上优于最先进的EM-Adapt方法。我们还证明，用150个弱视频标注学习的M-CNN性能与用数千张图像训练的最先进弱监督方法相当。最后，M-CNN在YouTube-Objects数据集上的相关视频共定位任务中大幅优于近期方法。
引用
@article{arxiv.1603.07188,
title = {Weakly-Supervised Semantic Segmentation using Motion Cues},
author = {Pavel Tokmakov and Karteek Alahari and Cordelia Schmid},
journal= {arXiv preprint arXiv:1603.07188},
year = {2017}
}
备注
Extended version of our ECCV 2016 paper