ShapeMask：通过精炼形状先验学习分割新类别物体
计算机视觉与模式识别
2020-05-12 v1
摘要
实例分割旨在检测并分割场景中的单个物体。现有大多数方法依赖于每个类别的精确掩码标注。然而，由于需要大量掩码标注，分割新类别物体困难且昂贵。我们提出 ShapeMask，其通过学习物体形状这一中间概念来解决实例分割向新类别泛化的问题。ShapeMask 从边界框检测开始，首先通过一组形状先验估计被检测物体的形状，从而逐步精炼它。接着，ShapeMask 通过学习实例嵌入将粗形状精炼为实例级掩码。形状先验为类物体预测提供了强线索，而实例嵌入对实例特定的外观信息建模。在学习跨类别时，ShapeMask 以 6.4 和 3.8 AP 显著优于最先进水平，并在全监督设定下取得有竞争力的性能。它还对不准确的检测、减小的模型容量和少量训练数据具有鲁棒性。此外，它运行高效，推理时间 150ms，在 TPU 上 11 小时内完成训练。使用更大的骨干模型时，ShapeMask 将跨类别相对于最先进水平的差距扩大到 9.4 和 6.2 AP。代码将公开。
引用
@article{arxiv.1904.03239,
title = {ShapeMask: Learning to Segment Novel Objects by Refining Shape Priors},
author = {Weicheng Kuo and Anelia Angelova and Jitendra Malik and Tsung-Yi Lin},
journal= {arXiv preprint arXiv:1904.03239},
year = {2020}
}