基于实例唯一查询的等变分割学习
计算机视觉与模式识别
2022-12-20 v2
摘要
当前主流的先进实例分割方法采用基于查询的框架，其中实例掩码通过一组实例感知嵌入查询图像特征得到。在本工作中，我们设计了一种新的训练框架，通过判别性查询嵌入学习来提升基于查询的模型。它探究了查询与实例之间关系的两个本质属性，即数据集级唯一性和变换等变性。首先，我们的算法使用查询从整个训练数据集中检索对应实例，而非仅在单个场景内搜索。由于跨场景查询实例更具挑战性，分割器被迫学习更具判别性的查询以实现有效的实例分离。其次，我们的算法鼓励图像（实例）表示和查询对几何变换保持等变，从而实现更鲁棒、实例-查询匹配。在四种著名的基于查询的模型（即 CondInst、SOLOv2、SOTR 和 Mask2Former）之上，我们的训练算法在 COCO 数据集上带来了显著的性能提升（例如 +1.6 - 3.2 AP）。此外，我们的算法在 LVISv1 数据集上将 SOLOv2 的性能提升了 2.7 AP。
引用
@article{arxiv.2210.00911,
title = {Learning Equivariant Segmentation with Instance-Unique Querying},
author = {Wenguan Wang and James Liang and Dongfang Liu},
journal= {arXiv preprint arXiv:2210.00911},
year = {2022}
}
备注
Accepted to NeurIPS 2022; Code: https://github.com/JamesLiang819/Instance_Unique_Querying