UniInst：面向端到端实例分割的唯一表示框架
计算机视觉与模式识别
2022-09-20 v4 人工智能
摘要
现有实例分割方法已取得令人印象深刻的性能，但仍受困于一个普遍难题：为一个实例推断出了冗余表示（例如多个边界框、网格与锚点），从而导致多个重复预测。因此，主流方法通常依赖手工设计的非极大值抑制（NMS）后处理步骤来选取最优预测结果，这阻碍了端到端训练。为解决这个问题，我们提出了一个无边界框、无 NMS 的端到端实例分割框架，称为 UniInst，其为每个实例仅产生一个唯一表示。具体而言，我们设计了一种实例感知的一对一分配方案，即仅产生一个表示（OYOR），其根据预测与真值之间的匹配质量动态地为每个实例分配一个唯一表示。随后，一种新颖的预测重排序策略被优雅地集成到该框架中，以解决分类分数与掩码质量之间的错位，使学到的表示更具判别力。借助这些技术，我们的 UniInst 作为首个基于 FCN 的无边界框、无 NMS 实例分割框架，取得了具有竞争力的性能，例如在 COCO test-dev 2017 上使用 ResNet-50-FPN 达到 39.0 mask AP，使用 ResNet-101-FPN 达到 40.2 mask AP。此外，所提出的实例感知方法对遮挡场景具有鲁棒性，在严重遮挡的 OCHuman 基准上以显著的 mask AP 优于常见基线。代码发布于 https://github.com/b03505036/UniInst。
引用
@article{arxiv.2205.12646,
title = {UniInst: Unique Representation for End-to-End Instance Segmentation},
author = {Yimin Ou and Rui Yang and Lufan Ma and Yong Liu and Jiangpeng Yan and Shang Xu and Chengjie Wang and Xiu Li},
journal= {arXiv preprint arXiv:2205.12646},
year = {2022}
}
备注
This paper wil appear at Neurocomputing. Code: https://github.com/b03505036/UniInst