解耦光流的网络架构与训练
计算机视觉与模式识别
2022-09-21 v3
摘要
对于RAFT等近期光流模型，训练细节与数据集有多重要？它们是否具有泛化能力？为探究这些问题，我们未开发新模型，而是使用一套现代训练技术与数据集重新审视PWC-Net、IRR-PWC和RAFT三个著名模型，观察到显著的性能提升，证明了这些训练细节的重要性和通用性。我们新训练的PWC-Net和IRR-PWC模型展现出惊人的大幅改进，在Sintel和KITTI 2015基准上较原发表结果提升高达30%。它们在KITTI 2015上优于较新的Flow1D，同时推理速度快3倍。我们新训练的RAFT在KITTI 2015上取得了4.31%的Fl-all分数，比撰写本文时所有已发表的光流方法都更精确。我们的结果证明了在分析光流方法性能提升时，分离模型、训练技术与数据集各自贡献的益处。我们的源代码将公开可用。
引用
@article{arxiv.2203.10712,
title = {Disentangling Architecture and Training for Optical Flow},
author = {Deqing Sun and Charles Herrmann and Fitsum Reda and Michael Rubinstein and David Fleet and William T. Freeman},
journal= {arXiv preprint arXiv:2203.10712},
year = {2022}
}
备注
Accepted to ECCV22. 33 pages, including supplementals. Website at: https://autoflow-google.github.io/