迭代选择简单参考帧使无监督视频目标分割更易实现
计算机视觉与模式识别
2021-12-24 v1
摘要
无监督视频目标分割（UVOS）是一个逐像素二值标注问题，旨在不使用前景目标的真值（GT）掩码的情况下，将视频中的前景目标与背景分离。以往大多数 UVOS 模型使用第一帧或整个视频作为参考帧来指定前景目标的掩码。我们的问题是，为何应选择第一帧作为参考帧，或为何应使用整个视频来指定掩码。我们认为，相较于仅使用第一帧或整个视频作为参考帧，可以选择一个更好的参考帧以获得更好的 UVOS 性能。在本文中，我们提出简单帧选择器（EFS）。EFS 使我们能够选择一个“简单”的参考帧，使后续的 VOS 变得容易，从而提升 VOS 性能。此外，我们提出一个名为迭代掩码预测（IMP）的新框架。在该框架中，我们对给定视频重复应用 EFS，并从视频中选择比前一次迭代“更简单”的参考帧，逐步提升 VOS 性能。IMP 由 EFS、双向掩码预测（BMP）和时间信息更新（TIU）组成。基于所提框架，我们在三个 UVOS 基准集 DAVIS16、FBMS 和 SegTrack-V2 上取得了最先进的性能。
引用
@article{arxiv.2112.12402,
title = {Iteratively Selecting an Easy Reference Frame Makes Unsupervised Video Object Segmentation Easier},
author = {Youngjo Lee and Hongje Seong and Euntai Kim},
journal= {arXiv preprint arXiv:2112.12402},
year = {2021}
}
备注
Accepted to AAAI 2022