MPI-Flow：利用多平面图像学习真实光流
计算机视觉与模式识别
2023-09-14 v1
摘要
基于学习的光流估计模型的精度严重依赖于训练数据集的真实感。当前生成此类数据集的方法要么采用合成数据，要么生成真实感有限的图像。然而，这些数据与真实场景的域差距限制了训练模型在真实应用中的泛化能力。为解决该问题，我们研究从真实图像生成真实光流数据集。首先，为生成高度真实的新图像，我们从单视图图像构建称为多平面图像(MPI)的分层深度表示，从而能生成高度真实的新视图图像。为生成与新图像精确对应的光流图，我们利用相机矩阵与平面深度计算各平面光流，再通过体渲染将这些分层光流投影至输出光流图。其次，为保证运动真实感，我们提出独立物体运动模块，可在MPI中分离相机与动态物体运动。该模块弥补了基于MPI的单视图方法的不足——其光流仅由相机运动生成而未考虑物体运动。我们还设计了深度感知修复模块，将新图像与动态物体融合并解决不自然的运动遮挡。我们在真实数据集上的大量实验展示了方法的优越性能，且在基于学习的模型的无监督与有监督训练中均达到最先进(state-of-the-art)性能。代码将公开于：\url{https://github.com/Sharpiless/MPI-Flow}。
引用
@article{arxiv.2309.06714,
title = {MPI-Flow: Learning Realistic Optical Flow with Multiplane Images},
author = {Yingping Liang and Jiaming Liu and Debing Zhang and Ying Fu},
journal= {arXiv preprint arXiv:2309.06714},
year = {2023}
}
备注
Accepted to ICCV2023