一种轻量级光流卷积神经网络——重访数据保真度与正则化
计算机视觉与模式识别
2020-03-17 v3
摘要
四十多年来，大多数研究使用变分方法解决光流估计问题。随着机器学习的发展，一些近期工作尝试使用卷积神经网络（CNN）解决该问题，并展示了有前景的结果。当前最先进的CNN——FlowNet2，需要超过1.6亿参数才能实现精确的光流估计。我们的LiteFlowNet2在Sintel和KITTI基准上优于FlowNet2，同时模型尺寸小25.3倍，运行速度快3.1倍。LiteFlowNet2建立于传统方法的基础之上，并类似于变分方法中数据保真度与正则化的相应作用。我们以空间金字塔形式计算光流，如同SPyNet，但通过一种新颖的轻量级级联流推断。它通过早期校正与描述子匹配的无缝结合提供高光流估计精度。流正则化用于通过特征驱动的局部卷积改善离群值与模糊流边界的问题。我们的网络还拥有用于金字塔特征提取的有效结构，并采用特征扭曲而非FlowNet2和SPyNet中所用的图像扭曲。与LiteFlowNet相比，LiteFlowNet2在Sintel Clean上提高光流精度23.3%，Sintel Final上12.8%，KITTI 2012上19.6%，KITTI 2015上18.8%，同时快2.2倍。我们的网络协议与训练模型已在 https://github.com/twhui/LiteFlowNet2 公开提供。
引用
@article{arxiv.1903.07414,
title = {A Lightweight Optical Flow CNN - Revisiting Data Fidelity and Regularization},
author = {Tak-Wai Hui and Xiaoou Tang and Chen Change Loy},
journal= {arXiv preprint arXiv:1903.07414},
year = {2020}
}
备注
Accepted to TPAMI 2020. arXiv admin note: substantial text overlap with arXiv:1805.07036