PWC-Net：用于光流的基于金字塔、扭曲和代价体的CNN模型
计算机视觉与模式识别
2018-06-27 v3
摘要
我们提出一种紧凑而有效的光流CNN模型，称为PWC-Net。PWC-Net的设计遵循简单且成熟的原则：金字塔处理、扭曲以及使用代价体。在可学习特征金字塔中，PWC-Net利用当前光流估计来扭曲第二幅图像的CNN特征。然后它使用扭曲后的特征和第一幅图像的特征构建代价体，并由CNN处理以估计光流。PWC-Net的模型尺寸比近期的FlowNet2模型小17倍且更易训练。此外，在MPI Sintel最终通道和KITTI 2015基准测试上，它优于所有已发布的光流方法，在Sintel分辨率（1024x436）图像上以约35 fps运行。我们的模型可在 https://github.com/NVlabs/PWC-Net 获取。
引用
@article{arxiv.1709.02371,
title = {PWC-Net: CNNs for Optical Flow Using Pyramid, Warping, and Cost Volume},
author = {Deqing Sun and Xiaodong Yang and Ming-Yu Liu and Jan Kautz},
journal= {arXiv preprint arXiv:1709.02371},
year = {2018}
}
备注
CVPR 2018 camera ready version (with github link to Caffe and PyTorch code)