用于实例分割的深度形状引导级联
计算机视觉与模式识别
2021-03-30 v4
摘要
成功的精确实例分割级联架构的关键在于充分利用多个阶段中边界框检测与掩码分割之间的关系。尽管现代实例分割级联取得了领先性能，它们主要利用单向关系，即掩码分割可受益于迭代精炼的边界框检测。本文研究另一方向，即如何在级联架构中利用精确掩码分割来辅助边界框检测。我们提出一种用于实例分割的深度形状引导级联（DSC），其迭代地将上一阶段从掩码预测提取的形状引导施加于当前阶段的边界框检测。该方法通过引入三个关键组件，在两项任务间形成双向关系：（1）初始形状引导：具备生成类无关掩码能力的掩码监督区域提议网络（mPRN）；（2）显式形状引导：掩码引导的兴趣区域（RoI）特征提取器，其利用上一阶段的掩码分割使当前阶段的特征提取聚焦于与感兴趣实例形状对齐的区域而非矩形 RoI；（3）隐式形状引导：将上一阶段的中间掩码特征馈入当前阶段边界框头的特征融合操作。实验结果表明，DSC 大幅优于最先进实例分割级联 Hybrid Task Cascade (HTC)，在 COCO test-dev 上取得 51.8 box AP 与 45.5 mask AP。代码发布于：https://github.com/hding2455/DSC。
引用
@article{arxiv.1911.11263,
title = {Deeply Shape-guided Cascade for Instance Segmentation},
author = {Hao Ding and Siyuan Qiao and Alan Yuille and Wei Shen},
journal= {arXiv preprint arXiv:1911.11263},
year = {2021}
}
备注
Accepted to CVPR 2021