PM-VIS：高性能框监督视频实例分割
计算机视觉与模式识别
2024-04-23 v1
摘要
在视频中标注像素级对象掩码是一个资源密集且费力的过程。框监督视频实例分割（VIS）方法已成为缓解标注劳动强度的一种可行解决方案。在实际应用中，两步法不仅更灵活，而且具有更高的识别精度。受最近Segment Anything Model（SAM）成功的启发，我们引入了一种新颖的方法，旨在从多个角度利用实例框标注来生成高质量的实例伪掩码，从而丰富实例标注中包含的信息。我们利用真实框分别通过HQ-SAM模型、框监督VIS模型（IDOL-BoxInst）和VOS模型（DeAOT）创建三种类型的伪掩码，并配合三种相应的优化机制。此外，我们引入了两种真实数据过滤方法，辅以高质量的伪掩码，以进一步提高训练数据集质量并提升全监督VIS方法的性能。为了充分利用获得的高质量伪掩码，我们引入了一种新颖的算法PM-VIS，将掩码损失集成到IDOL-BoxInst中。我们的PM-VIS模型使用高质量伪掩码标注进行训练，在实例掩码预测方面表现出强大的能力，在YouTube-VIS 2019、YouTube-VIS 2021和OVIS验证集上达到了最先进的性能，显著缩小了框监督VIS方法与全监督VIS方法之间的差距。
引用
@article{arxiv.2404.13863,
title = {PM-VIS: High-Performance Box-Supervised Video Instance Segmentation},
author = {Zhangjing Yang and Dun Liu and Wensheng Cheng and Jinqiao Wang and Yi Wu},
journal= {arXiv preprint arXiv:2404.13863},
year = {2024}
}