用于精确光流估计的位移不变匹配代价学习
计算机视觉与模式识别
2020-10-29 v1
摘要
学习匹配代价已被证明是SOTA深度立体匹配方法成功的关键，其中在4D特征体上应用3D卷积以学习3D代价体。然而，该机制从未被用于光流任务。这主要是由于光流计算情况下搜索维度显著增加，即直接扩展将需要稠密4D卷积来处理5D特征体，计算上不可行。本文提出一种新颖方案，能够绕过构建5D特征体的需求，同时仍允许网络从数据中学习合适的匹配代价。我们的关键创新是解耦2D位移之间的连接，并独立地在每个2D位移假设上学习匹配代价，即位移不变代价学习。具体地，我们在每个2D位移假设上独立地应用相同的基于2D卷积的匹配网络以学习4D代价体。此外，我们提出位移感知投影层来缩放所学代价体，其重新考虑不同位移候选间的相关性并缓解所学代价体中的多峰问题。随后该代价体通过2D soft-argmin层投影到光流估计。大量实验表明，我们的方法在各数据集上达到SOTA精度，并在Sintel基准上优于所有已发表的光流方法。
关键词
引用
@article{arxiv.2010.14851,
title = {Displacement-Invariant Matching Cost Learning for Accurate Optical Flow Estimation},
author = {Jianyuan Wang and Yiran Zhong and Yuchao Dai and Kaihao Zhang and Pan Ji and Hongdong Li},
journal= {arXiv preprint arXiv:2010.14851},
year = {2020}
}
备注
NeurIPS 2020, 9 pages