基于尺度不一致性提升视频目标分割性能
计算机视觉与模式识别
2022-05-04 v1
摘要
我们提出了一种细化框架,用于提升预训练的半监督视频目标分割(VOS)模型的性能。我们的工作基于尺度不一致性,其动机是观察到现有 VOS 模型对不同尺寸输入帧产生不一致的预测。我们利用尺度不一致性作为线索,设计了一个像素级注意力模块,以聚合来自不同尺寸输入预测的优势。尺度不一致性还被用于基于由不确定性估计测量的像素级方差来正则化训练。我们进一步提出了一种自监督在线自适应方法,专为测试时优化设计,其基于尺度不一致性在无真实掩码情况下引导预测。在 DAVIS 16 和 DAVIS 17 数据集上的实验表明,我们的框架可普遍应用于各类 VOS 模型并提升其性能。
引用
@article{arxiv.2205.01197,
title = {Boosting Video Object Segmentation based on Scale Inconsistency},
author = {Hengyi Wang and Changjae Oh},
journal= {arXiv preprint arXiv:2205.01197},
year = {2022}
}