模型至关重要，训练亦如此：关于 CNN 光流估计的实证研究
计算机视觉与模式识别
2018-09-18 v1
摘要
我们研究了用于光流估计的 CNN 的两个关键且紧密相关的方面：模型与训练。首先，我们根据简单且成熟的原则——金字塔处理、warping 与代价体处理——设计了一个紧凑而有效的 CNN 模型，称为 PWC-Net。PWC-Net 在尺寸上比近期的 FlowNet2 模型小 17 倍，推理速度快 2 倍，且在 Sintel final 上准确率高 11\%。它是鲁棒视觉挑战赛光流竞赛的获胜方案。接下来，我们通过实验分析了性能提升的来源。特别地，我们使用与 PWC-Net 相同的训练流程重新训练 FlowNetC（FlowNet2 的子网络）。重新训练后的 FlowNetC 在 Sintel final 上比先前训练的版本准确率高 56\%，甚至比 FlowNet2 模型高 5\%。我们进一步改进训练流程，将 PWC-Net 在 Sintel 上的准确率提升 10\%，在 KITTI 2012 与 2015 上提升 20\%。我们新训练得到的模型参数与训练协议将发布于 https://github.com/NVlabs/PWC-Net。
引用
@article{arxiv.1809.05571,
title = {Models Matter, So Does Training: An Empirical Study of CNNs for Optical Flow Estimation},
author = {Deqing Sun and Xiaodong Yang and Ming-Yu Liu and Jan Kautz},
journal= {arXiv preprint arXiv:1809.05571},
year = {2018}
}