自监督的从稀疏到稠密运动分割
计算机视觉与模式识别
2020-08-19 v1
摘要
视频中可观测的运动可引出相对于场景运动的对象的定义。分割此类运动对象的任务称为运动分割，通常或通过聚合长程稀疏点轨迹中的运动信息，或依靠大量训练数据直接产生逐帧稠密分割来解决。本文中，我们提出一种自监督方法，从单视频帧学习稀疏运动分割的稠密化。先前运动分割方法建立在大型代理数据集上的预训练之上，并将稠密运动信息作为像素级分割的重要线索，而我们的模型不需要预训练，并在测试时基于单帧运行。它可按序列特定方式训练，从稀疏且含噪的输入产生高质量稠密分割。我们在知名运动分割数据集 FBMS59 和 DAVIS16 上评估了我们的方法。
引用
@article{arxiv.2008.07872,
title = {Self-supervised Sparse to Dense Motion Segmentation},
author = {Amirhossein Kardoost and Kalun Ho and Peter Ochs and Margret Keuper},
journal= {arXiv preprint arXiv:2008.07872},
year = {2020}
}