面向实时实例分割中锚框分配的掩码感知交并比
计算机视觉与模式识别
2021-10-20 v1
摘要
本文提出掩码感知交并比（Mask-aware Intersection-over-Union，maIoU），用于在实例分割方法训练期间将锚框分配为正负样本。传统的 IoU 或其变体仅考虑两个框的接近程度；而 maIoU 不仅衡量锚框与真实框的接近程度，还一致地衡量其与相关联的真实掩码的接近程度。因此，额外考虑实际上代表物体形状的掩码，maIoU 能够在训练中实现更精确的监督。我们将 maIoU 应用于最先进（SOTA）的分配器 ATSS，通过用我们的 maIoU 替换 IoU 操作并训练 YOLACT（一种 SOTA 实时实例分割方法），展示了 maIoU 的有效性。使用带 maIoU 的 ATSS 在不同图像尺寸下一致地优于（i）带 IoU 的 ATSS 约 1 个 mask AP，（ii）使用固定 IoU 阈值分配器的基线 YOLACT 约 2 个 mask AP，并且（iii）由于使用更少的锚框，推理时间减少了 25%。进而，利用这一效率优势，我们设计了 maYOLACT，一种比 YOLACT 更快且准确率高出 6 个 AP 的检测器。我们的最佳模型在 COCO test-dev 上以 25 fps 达到 37.7 mask AP，确立了实时实例分割的新 SOTA。代码见 https://github.com/kemaloksuz/Mask-aware-IoU
引用
@article{arxiv.2110.09734,
title = {Mask-aware IoU for Anchor Assignment in Real-time Instance Segmentation},
author = {Kemal Oksuz and Baris Can Cam and Fehmi Kahraman and Zeynep Sonat Baltaci and Sinan Kalkan and Emre Akbas},
journal= {arXiv preprint arXiv:2110.09734},
year = {2021}
}
备注
BMVC 2021, camera ready version