YOLACT++：更优的实时实例分割
计算机视觉与模式识别
2020-09-25 v2 机器学习
图像与视频处理
摘要
我们提出了一种简单、全卷积的实时（>30 fps）实例分割模型，在单块 Titan Xp 上评估于 MS COCO 取得了具有竞争力的结果，其速度显著快于以往任何最先进方法。此外，我们仅在一块 GPU 上训练便获得了该结果。我们将实例分割拆分为两个并行子任务来实现这一点：（1）生成一组原型掩码；（2）预测逐实例的掩码系数。然后我们通过将原型与掩码系数线性组合来生成实例掩码。我们发现，由于该过程不依赖于重池化（repooling），这种方法能生成非常高精度的掩码，并天然展现出时间稳定性。此外，我们分析了原型的涌现行为，表明尽管是全卷积的，它们仍能以平移变体的方式自行学习定位实例。我们还提出了 Fast NMS，一种可即插即用的、快 12 ms 的标准 NMS 替代方案，仅带来微小的性能损失。最后，通过将可变形卷积引入骨干网络、以更优的锚框尺度与长宽比优化预测头，并添加一个新颖的快速掩码重打分分支，我们的 YOLACT++ 模型在 33.5 fps 下于 MS COCO 达到 34.1 mAP，在仍保持实时运行的同时已相当接近最先进方法。
引用
@article{arxiv.1912.06218,
title = {YOLACT++: Better Real-time Instance Segmentation},
author = {Daniel Bolya and Chong Zhou and Fanyi Xiao and Yong Jae Lee},
journal= {arXiv preprint arXiv:1912.06218},
year = {2020}
}
备注
Journal extension of our previous conference paper arXiv:1904.02689