SipMask：用于快速图像与视频实例分割的空间信息保留方法
计算机视觉与模式识别
2020-07-30 v1
摘要
单阶段实例分割方法近年来因其速度和简洁性而受到欢迎，但与两阶段方法相比在精度上仍显落后。我们提出了一种称为 SipMask 的快速单阶段实例分割方法，该方法通过将检测到的边界框内某一实例的掩码预测分离到不同子区域来保留实例特定的空间信息。我们的主要贡献是一个新颖的轻量级空间保留（SP）模块，它为边界框内的每个子区域生成一组独立的空间系数，从而改进掩码预测。它还能够准确描绘空间上相邻的实例。此外，我们引入了掩码对齐加权损失和特征对齐方案，以更好地将掩码预测与目标检测相关联。在 COCO test-dev 上，我们的 SipMask 优于现有的单阶段方法。与最先进的单阶段 TensorMask 相比，SipMask 取得了 1.0% 的绝对提升（掩码 AP），同时提供了四倍加速。在实时能力方面，SipMask 在相似设置下以 3.0% 的绝对提升（掩码 AP）优于 YOLACT，同时在 Titan Xp 上以相当的速度运行。我们还在实时视频实例分割上评估了我们的 SipMask，在 YouTube-VIS 数据集上取得了有前景的结果。源代码可在 https://github.com/JialeCao001/SipMask 获取。
引用
@article{arxiv.2007.14772,
title = {SipMask: Spatial Information Preservation for Fast Image and Video Instance Segmentation},
author = {Jiale Cao and Rao Muhammad Anwer and Hisham Cholakkal and Fahad Shahbaz Khan and Yanwei Pang and Ling Shao},
journal= {arXiv preprint arXiv:2007.14772},
year = {2020}
}
备注
ECCV2020; Code: https://github.com/JialeCao001/SipMask