基于交并比损失的实时多边形实例分割
计算机视觉与模式识别
2023-05-10 v1
摘要
预测物体的二值掩码比边界框更准确，但计算开销也更大。CenterPoly 中提出的多边形掩码可以作为一个良好的折中。在本文中，我们通过将经典的回归 L1 损失增强为一种新颖的基于区域的损失和一种新颖的顺序损失，以及为顶点预测头设计新的训练过程，从而改进了 CenterPoly。此外，先前预测多边形掩码的方法使用不同的坐标系，但如果我们抽象掉架构要求，尚不清楚哪一种更优。因此我们研究了它们对预测的影响。我们还使用了一种带有检测头预言机预测的新评估协议，以进一步隔离分割过程并更好地将多边形掩码与二值掩码进行比较。我们的实例分割方法在包含城市场景、道路使用者高密度且具有挑战性的数据集上训练和测试。实验特别表明，与 CenterPoly 相比，使用回归损失和基于区域的损失相结合在 Cityscapes 和 IDD 测试集上取得了显著改进。此外，推理阶段仍然足够快，在单块 RTX 2070 GPU 上对 20481024 图像平均每张帧 0.045 s 即可达到实时性能。代码可在 获取。
引用
@article{arxiv.2305.05490,
title = {Real-time instance segmentation with polygons using an Intersection-over-Union loss},
author = {Katia Jodogne-Del Litto and Guillaume-Alexandre Bilodeau},
journal= {arXiv preprint arXiv:2305.05490},
year = {2023}
}