用于高质量实例分割的掩码精修器
计算机视觉与模式识别
2021-11-29 v1
摘要
两阶段和基于查询的实例分割方法已取得显著成果。然而，它们分割出的掩码仍非常粗糙。本文中，我们提出 Mask Transfiner 用于高质量且高效的实例分割。我们的 Mask Transfiner 将图像区域分解并表示为四叉树，而非在规则稠密张量上操作。我们基于 transformer 的方法仅处理检测到的易错树节点，并并行自纠正其错误。尽管这些稀疏像素仅占总量的很小比例，它们对最终掩码质量却至关重要。这使得 Mask Transfiner 能以低计算成本预测高度准确的实例掩码。大量实验表明，Mask Transfiner 在三个流行基准上优于当前实例分割方法，将两阶段和基于查询的框架在 COCO 和 BDD100K 上大幅提升 +3.0 mask AP，在 Cityscapes 上提升 +6.6 boundary AP。我们的代码和训练模型将发布于 http://vis.xyz/pub/transfiner。
引用
@article{arxiv.2111.13673,
title = {Mask Transfiner for High-Quality Instance Segmentation},
author = {Lei Ke and Martin Danelljan and Xia Li and Yu-Wing Tai and Chi-Keung Tang and Fisher Yu},
journal= {arXiv preprint arXiv:2111.13673},
year = {2021}
}
备注
Project page: http://vis.xyz/pub/transfiner