FPCR-Net：用于光流估计的特征金字塔相关与残差重建网络
计算机视觉与模式识别
2021-11-24 v4
摘要
光流估计是视频分析领域中一个重要且具有挑战性的问题。卷积神经网络不同语义层次/层的特征可提供不同粒度的信息。为利用这种灵活而全面的信息，我们提出了一种半监督的特征金字塔相关与残差重建网络（FPCR-Net），用于从帧对中估计光流。它由两个主要模块组成：金字塔相关映射与残差重建。金字塔相关映射模块通过聚合不同尺度的特征形成多级代价体，利用全局/局部块的多尺度相关性。残差重建模块旨在重建各阶段更精细光流的子带高频残差。基于金字塔相关映射，我们进一步提出了相关-变形-归一化（CWN）模块以高效利用相关依赖。实验结果表明，所提方案达到了最先进的性能，在 Sintel 数据集 Final pass 上相对于对比基线方法 FlowNet2、LiteFlowNet 和 PWC-Net 的平均端点误差（AEE）分别提升了 0.80、1.15 和 0.10。
引用
@article{arxiv.2001.06171,
title = {FPCR-Net: Feature Pyramidal Correlation and Residual Reconstruction for Optical Flow Estimation},
author = {Xiaolin Song and Yuyang Zhao and Jingyu Yang and Cuiling Lan and Wenjun Zeng},
journal= {arXiv preprint arXiv:2001.06171},
year = {2021}
}
备注
8 pages, 8 figures, 6 tables