使用条件卷积的实例与全景分割
计算机视觉与模式识别
2022-01-21 v5 图像与视频处理
摘要
我们提出了一种简单而有效的实例与全景分割框架，称为 CondInst（用于实例和全景分割的条件卷积）。在文献中，性能最佳的实例分割方法通常遵循 Mask R-CNN 的范式，并依赖 ROI 操作（通常是 ROIAlign）来关注每个实例。相反，我们提出使用动态条件卷积来关注实例。我们不是将逐实例的 ROI 作为固定权重实例掩码头头的输入，而是设计了动态的实例感知掩码头，以待预测实例为条件。CondInst 具有三个优势：1.) 实例和全景分割被统一到一个全卷积网络中，消除了 ROI 裁剪和特征对齐的需要。2.) 消除 ROI 裁剪也显著提高了输出实例掩码的分辨率。3.) 由于动态生成的条件卷积能力大幅提升，掩码头可以非常紧凑（例如，3 个卷积层，每层仅 8 个通道），从而显著加快每个实例的推理时间，并使整体推理时间几乎恒定，与实例数量无关。我们展示了一种更简单的方法，可在实例和全景分割任务上实现更高的准确率和推理速度。在 COCO 数据集上，我们优于几种最先进的方法。我们希望 CondInst 能成为实例和全景分割的强基线。代码见：https://git.io/AdelaiDet
引用
@article{arxiv.2102.03026,
title = {Instance and Panoptic Segmentation Using Conditional Convolutions},
author = {Zhi Tian and Bowen Zhang and Hao Chen and Chunhua Shen},
journal= {arXiv preprint arXiv:2102.03026},
year = {2022}
}
备注
Accepted to IEEE T. Pattern Analysis and Machine Intelligence (TPAMI). Extended version of arXiv:2003.05664