基于卷积网络在注意力区域内给定指针像素寻找片段的类无关序列式全图像分割
计算机视觉与模式识别
2019-02-26 v2
摘要
本工作研究使用全卷积网络（FCN）在给定该片段区域内一个像素的情况下寻找图像片段。网络接收一幅图像、图像中的一个点以及一个感兴趣区域（RoI）掩码。网络输出是该点所在片段的二值掩码。可找到该片段的区域包含在输入的 RoI 掩码内。通过按区域顺序地在图像上运行该网络并将输出的片段拼接为单一分割图，可实现全图像分割。这一简单方法解决了图像分割的两个主要挑战：1）对未包含在训练集中的未知类别进行分割。2）对单个对象实例（things）与非对象（stuff，如天空与植被）进行分割。因此，若指针像素位于群体中某个人物内，网络将输出覆盖该特定人物的掩码；若指针点位于天空区域内，网络返回图像中的天空区域。即使训练集中未出现天空或人物的样本，此结论依然成立。该网络在 COCO panoptic 数据集上进行了测试与训练，对熟悉类别（属于网络训练集的一部分）的分割达到 67% IOU，对不熟悉类别（未包含在训练中）的分割达到 53% IOU。
引用
@article{arxiv.1902.07810,
title = {Class-independent sequential full image segmentation, using a convolutional net that finds a segment within an attention region, given a pointer pixel within this segment},
author = {Sagi Eppel},
journal= {arXiv preprint arXiv:1902.07810},
year = {2019}
}