LiteFlowNet：一种用于光流估计的轻量级卷积神经网络
计算机视觉与模式识别
2018-05-24 v1
摘要
FlowNet2 是用于光流估计的当前最优卷积神经网络（CNN），需要超过 1.6 亿参数才能实现精确的光流估计。本文中我们提出一种替代网络，在具有挑战性的 Sintel final pass 与 KITTI 基准上优于 FlowNet2，同时模型尺寸小 30 倍、运行速度快 1.36 倍。这得益于深入探究当前框架中可能遗漏的架构细节：（1）我们在每个金字塔层级通过轻量级级联网络提出更有效的光流推断方法，其不仅通过早期校正提高光流估计精度，还允许在我们的网络中无缝融入描述子匹配。（2）我们提出一种新颖的光流正则化层，利用特征驱动的局部卷积改善离群值与模糊光流边界问题。（3）我们的网络拥有用于金字塔特征提取的有效结构，并采用特征扭曲而非 FlowNet2 所实践的图像扭曲。我们的代码与训练模型可在 https://github.com/twhui/LiteFlowNet 获取。
引用
@article{arxiv.1805.07036,
title = {LiteFlowNet: A Lightweight Convolutional Neural Network for Optical Flow Estimation},
author = {Tak-Wai Hui and Xiaoou Tang and Chen Change Loy},
journal= {arXiv preprint arXiv:1805.07036},
year = {2018}
}
备注
Accepted to CVPR 2018 (spotlight). Project page: http://mmlab.ie.cuhk.edu.hk/projects/LiteFlowNet/