基于流监督器的光流半监督学习
计算机视觉与模式识别
2022-07-22 v1
摘要
光流 CNN 的训练流程包括在合成数据集上的预训练阶段以及在目标数据集上的微调阶段。然而，从目标视频中获取真实光流需要巨大的工作量。本文提出一种实用的微调方法，可在无真实光流的情况下将预训练模型适配到目标数据集，该方向尚未被充分探索。具体而言，我们提出一种用于自监督的流监督器，其由参数分离与学生输出连接组成。该设计旨在相比传统自监督方法在微调任务上不稳定而言，实现稳定收敛与更高精度。实验结果表明，相较于不同的自监督方法，我们的方法在半监督学习中具有有效性。此外，通过利用额外的无标签数据集，我们在 Sintel 和 KITTI 基准上相比最先进的光流模型取得了有意义的改进。代码见 https://github.com/iwbn/flow-supervisor。
引用
@article{arxiv.2207.10314,
title = {Semi-Supervised Learning of Optical Flow by Flow Supervisor},
author = {Woobin Im and Sebin Lee and Sung-Eui Yoon},
journal= {arXiv preprint arXiv:2207.10314},
year = {2022}
}