PointINS：基于点的实例分割
计算机视觉与模式识别
2021-07-02 v2
摘要
本文中，我们利用兴趣点(Point-of-Interest, PoI)特征探索实例分割中的掩码表示。在单一 PoI 特征中区分多个潜在实例具有挑战性，因为使用普通卷积为每个实例学习高维掩码特征需要沉重的计算负担。为应对该挑战，我们提出实例感知卷积。它将这一掩码表示学习任务分解为两个可处理的模块：实例感知权重与实例无关特征。前者用于参数化卷积以生成对应于不同实例的掩码特征，通过避免采用多个独立卷积来提高掩码学习效率。同时，后者作为单一点中的掩码模板。二者结合，实例感知掩码特征通过将模板与动态权重进行卷积计算得到，用于掩码预测。连同实例感知卷积，我们提出 PointINS，一种构建于稠密单阶段检测器之上的简单实用的实例分割方法。通过大量实验，我们评估了基于 RetinaNet 和 FCOS 构建的框架的有效性。采用 ResNet101 主干的 PointINS 在 COCO 数据集上取得了 38.3 的掩码平均精度(mAP)，大幅优于现有的基于点的方法。其性能可与基于区域的 Mask R-CNN 相媲美，且推理更快。
引用
@article{arxiv.2003.06148,
title = {PointINS: Point-based Instance Segmentation},
author = {Lu Qi and Yi Wang and Yukang Chen and Yingcong Chen and Xiangyu Zhang and Jian Sun and Jiaya Jia},
journal= {arXiv preprint arXiv:2003.06148},
year = {2021}
}
备注
Accepted by IEEE Transactions on Pattern Analysis and Machine Intelligence