DF-Net：利用跨任务一致性无监督联合学习深度与光流
计算机视觉与模式识别
2018-09-06 v1
摘要
我们提出一种无监督学习框架，使用无标签视频序列同时训练单视图深度预测与光流估计模型。现有无监督方法常利用亮度恒定与空间平滑先验来训练深度或光流模型。在本文中，我们提议将几何一致性作为额外的监督信号。我们的核心思想是，对于刚性区域，可利用预测的场景深度与相机运动，通过反投影诱导的3D场景流来合成2D光流。刚性流（来自深度预测与相机运动）与估计流（来自光流模型）之间的差异使我们能够施加跨任务一致性损失。尽管所有网络在训练期间联合优化，它们在测试时可独立应用。大量实验表明，我们的深度与光流模型优于最先进的无监督方法。
引用
@article{arxiv.1809.01649,
title = {DF-Net: Unsupervised Joint Learning of Depth and Flow using Cross-Task Consistency},
author = {Yuliang Zou and Zelun Luo and Jia-Bin Huang},
journal= {arXiv preprint arXiv:1809.01649},
year = {2018}
}
备注
ECCV 2018. Project website: http://yuliang.vision/DF-Net/ Code: https://github.com/vt-vl-lab/DF-Net