DIP：用于高分辨率光流估计的深度逆Patchmatch
计算机视觉与模式识别
2022-04-04 v1
摘要
近来，稠密相关体方法在光流中取得了最先进的性能。然而，相关体计算需要大量内存，使得在高分辨率图像上的预测十分困难。本文中，我们提出一种新颖的基于Patchmatch的框架以处理高分辨率光流估计。具体而言，我们引入了首个端到端基于Patchmatch的深度学习光流方法。得益于Patchmatch的传播与局部搜索，它可用更低内存获得高精度结果。此外，提出一种新的逆传播以解耦传播中的复杂操作，能显著减少多次迭代中的计算量。在提交时，我们的方法在流行的KITTI2015基准的所有指标上排名第一，并在已发表光流方法的Sintel clean基准的EPE上排名第二。实验显示我们的方法具有强跨数据集泛化能力，F1-all达到13.73%，较KITTI2015上最佳发表结果17.4%降低21%。此外，我们的方法在高分辨率数据集DAVIS上展现出良好的细节保持结果，且消耗内存比RAFT少2倍。
引用
@article{arxiv.2204.00330,
title = {DIP: Deep Inverse Patchmatch for High-Resolution Optical Flow},
author = {Zihua Zheng and Ni Nie and Zhi Ling and Pengfei Xiong and Jiangyu Liu and Hao Wang and Jiankun Li},
journal= {arXiv preprint arXiv:2204.00330},
year = {2022}
}
备注
CVPR 2022