面向多边形检测的实例分割 Transformer
计算机视觉与模式识别
2026-03-11 v1
摘要
实例分割today的一个瓶颈在于高分辨率输入与轻量、实时推理之间的冲突要求。为此，我们提出一种基于极坐标表示进行稀疏顶点回归的 Polygon Detection Transformer (Poly-DETR)，以此重新定义实例分割，从而消除对密集像素级掩码预测的依赖。考虑到 Detection Transformers 中的 box-to-polygon reference shift，我们提出 Polar Deformable Attention 和 Position-Aware Training Scheme，以动态更新监督信息并聚焦于边界线索。与最新基于极坐标的方法相比，Poly-DETR 在 MS COCO test-dev 数据集上实现了 4.7 的 mAP 提升。此外，我们构建了一个平行的基于掩码的对手方案，以支持极坐标与掩码表示之间的系统性比较。实验结果表明，在高分辨率场景下，Poly-DETR 更加轻量级，在 Cityscapes 数据集上内存消耗几乎减半。值得注意的是，在 PanNuke (细胞分割) 和 SpaceNet (建筑 footprint) 数据集上，Poly-DETR 在所有指标上都优于其基于掩码的对手方案，这验证了其在特定领域设置下规则形状实例的优势。
引用
@article{arxiv.2603.09245,
title = {Towards Instance Segmentation with Polygon Detection Transformers},
author = {Jiacheng Sun and Jiaqi Lin and Wenlong Hu and Haoyang Li and Xinghong Zhou and Chenghai Mao and Yan Peng and Xiaomao Li},
journal= {arXiv preprint arXiv:2603.09245},
year = {2026}
}