框监督视频分割提议网络
计算机视觉与模式识别
2022-02-18 v2
摘要
视频对象分割（VOS）已被各种全监督和自监督方法所研究。虽然全监督方法表现出优异的结果，但不使用像素级真值的自监督方法引起了广泛关注。然而，自监督方法存在显著的性能差距。框级标注为图像分割在标注工作与结果质量之间提供了平衡的折衷，但尚未在视频领域被利用。本工作中，我们提出了一种框监督视频对象分割提议网络，其利用了视频的内在属性。我们的方法通过以下方式结合对象运动：首先，使用双向时间差和一种新颖的边界框引导运动补偿来计算运动；其次，我们引入一种新颖的运动感知亲和损失，鼓励网络在像素对具有相似运动和颜色时预测为正像素对。所提方法在DAVIS和Youtube-VOS数据集上以16.4%和6.9%的&分数优于最先进的自监督基准以及大多数全监督方法，且未施加网络架构规范。我们在数据集上进行了广泛的测试和消融实验，证明了我们方法的鲁棒性。
引用
@article{arxiv.2202.07025,
title = {Box Supervised Video Segmentation Proposal Network},
author = {Tanveer Hannan and Rajat Koner and Jonathan Kobold and Matthias Schubert},
journal= {arXiv preprint arXiv:2202.07025},
year = {2022}
}