无视频标注的时间稳定视频分割
计算机视觉与模式识别
2022-03-18 v2
摘要
时间一致的稠密视频标注稀缺且难以收集。相比之下，图像分割数据集（及预训练模型）无处不在，且更易为任何新任务标注。本文中，我们引入一种无监督方式将静态图像分割模型适配到视频的方法，利用基于光流的一致性度量。为确保推断的分割视频在实践中显得更稳定，我们通过用户研究验证了该一致性度量与人类判断良好相关。使用此度量作为损失训练新的多输入多输出解码器，结合精炼当前图像分割数据集的技术以及时间加权引导滤波，我们观察到生成的分割视频稳定性提升且精度损失极小。
引用
@article{arxiv.2110.08893,
title = {Temporally stable video segmentation without video annotations},
author = {Aharon Azulay and Tavi Halperin and Orestis Vantzos and Nadav Borenstein and Ofir Bibi},
journal= {arXiv preprint arXiv:2110.08893},
year = {2022}
}