从几何匹配一致性视角重新思考光流估计
计算机视觉与模式识别
2023-03-16 v1
摘要
光流估计是一个尚未解决的具有挑战性的问题。近期基于深度学习的光流模型已取得可观成功。然而，这些模型通常在标准光流数据上从零开始训练网络，这限制了它们鲁棒且几何地匹配图像特征的能力。在本文中，我们对先前的光流估计提出一种重新思考。我们特别地利用几何图像匹配（GIM）作为光流估计（MatchFlow）的预训练任务以获得更好的特征表示，因为 GIM 与光流估计面临一些共同挑战，且拥有大量标注的真实世界数据。因此，匹配静态场景有助于学习与一致位移下物体和场景更基础的特征关联。具体而言，所提出的 MatchFlow 模型采用基于 QuadTree 注意力、在 MegaDepth 上预训练的网络来提取粗粒度特征以进行后续光流回归。大量实验表明我们的模型具有很好的跨数据集泛化能力。我们的方法在 Sintel clean pass 和 KITTI 测试集上相比 GMA 实现了 11.5% 和 10.1% 的误差降低。在匿名投稿时，我们的 MatchFlow(G) 在可比计算与内存占用下，相较于已发表方法在 Sintel clean 与 final pass 上享有最先进（SOTA）性能。代码与模型将发布于 https://github.com/DQiaole/MatchFlow。
引用
@article{arxiv.2303.08384,
title = {Rethinking Optical Flow from Geometric Matching Consistent Perspective},
author = {Qiaole Dong and Chenjie Cao and Yanwei Fu},
journal= {arXiv preprint arXiv:2303.08384},
year = {2023}
}
备注
Accepted by CVPR 2023