面向视频对应流的自监督学习
计算机视觉与模式识别
2019-07-30 v5 机器学习
摘要
本文的目标是自监督学习适用于沿视频匹配对应关系的特征嵌入，我们称之为对应流。通过利用视频中天然的空间-时间相干性，我们提出训练一个“指针”，通过从参考帧复制像素来重建目标帧。我们的贡献如下：首先，我们引入一个简单的瓶颈以迫使模型学习用于对应匹配的鲁棒特征，并防止其学习平凡解，例如基于低层颜色信息的匹配。其次，为应对由复杂物体形变、光照变化和遮挡引起的跟踪器漂移挑战，我们提出在长时域窗口上以课程采样和循环一致性训练递归模型。第三，我们在 DAVIS 2017 视频分割和 JHMDB 关键点跟踪任务上取得了最先进的性能，以显著优势超越所有先前的自监督学习方法。第四，为阐明自监督学习在视频对应流任务上的潜力，我们通过训练更多数据（即更多样化的视频）来探究上限，进一步展示了在视频分割上的显著提升。
引用
@article{arxiv.1905.00875,
title = {Self-supervised Learning for Video Correspondence Flow},
author = {Zihang Lai and Weidi Xie},
journal= {arXiv preprint arXiv:1905.00875},
year = {2019}
}
备注
BMVC2019 (Oral Presentation)