基于带软掩码深度神经网络的分层光流估计
计算机视觉与模式识别
2018-05-10 v1
摘要
使用分层表示进行运动估计具有能够处理不连续性和遮挡的优势。在本文中，我们通过将分层运动表示与深度学习相结合来学习估计光流。所提方法不是将图像预分割为层，而是使用提出的软掩码模块自动生成光流的分层表示。软掩码模块的核心组件是 maxout 和融合操作，其实现了光流的不相交分层表示和更精确的流估计。我们表明，通过使用掩码，运动估计结果在输出层中成为输入特征的二次函数。所提出的软掩码模块可通过替换任何现有光流估计网络的流输出层来添加。本工作中，我们使用 FlowNet 作为基础网络并添加软掩码模块。所得网络在三个知名基准上以有监督和无监督流估计任务进行了测试。评估结果表明，与原始 FlowNet 相比，所提网络取得了更好的结果。
引用
@article{arxiv.1805.03596,
title = {Layered Optical Flow Estimation Using a Deep Neural Network with a Soft Mask},
author = {Xi Zhang and Di Ma and Xu Ouyang and Shanshan Jiang and Lin Gan and Gady Agam},
journal= {arXiv preprint arXiv:1805.03596},
year = {2018}
}