用深度网络补充亮度恒常性以预测光流
计算机视觉与模式识别
2022-07-13 v2 机器学习
摘要
最先进的光流估计方法依赖于深度学习，其需要在真实世界数据上达到最优性能所需的复杂序贯训练方案。在本工作中，我们引入了COMBO深度网络，其显式利用了传统方法中使用的亮度恒常性(BC)模型。由于BC是一个在多种情形下被违背的近似物理模型，我们提出训练一个受物理约束的网络并辅以数据驱动的网络。我们提出了物理先验与数据驱动补充之间一种独特且有意义的流分解，包含BC模型的不确定度量化。我们推导了一种联合训练方案，用于在监督及半监督情形下学习分解的各分量并确保最优协作。实验表明，COMBO在监督网络上(如RAFT)可提升性能，在多个基准上达到最先进结果。我们强调了COMBO如何利用BC模型并适应其局限。最后，我们展示了半监督方法可显著简化训练流程。
引用
@article{arxiv.2207.03790,
title = {Complementing Brightness Constancy with Deep Networks for Optical Flow Prediction},
author = {Vincent Le Guen and Clément Rambour and Nicolas Thome},
journal= {arXiv preprint arXiv:2207.03790},
year = {2022}
}