Cross-MPI：基于多平面图像的跨尺度立体图像超分辨率
计算机视觉与模式识别
2021-03-30 v2
摘要
相机的各种组合丰富了计算摄影，其中基于参考的超分辨率(RefSR)在多尺度成像系统中起着关键作用。然而，现有的RefSR方法在较大分辨率差距(例如8倍放大)下无法实现高保真超分辨率，原因在于对底层场景结构的考虑不足。本文受多平面图像(MPI)表示启发，旨在解决实际多尺度相机系统中的RefSR问题。具体而言，我们提出Cross-MPI，一种端到端RefSR网络，由新颖的基于平面感知注意力的MPI机制、多尺度引导上采样模块以及超分辨率(SR)合成与融合模块组成。所提平面感知注意力机制不再使用跨尺度立体间的直接穷举匹配，而是充分利用隐藏的场景结构进行高效的基于注意力的对应搜索。进一步结合温和的由粗到细引导上采样策略，所提Cross-MPI可实现鲁棒而准确的细节传递。在数字合成与光学变焦跨尺度数据上的实验结果表明，Cross-MPI框架相较现有RefSR方法可实现更优性能，并且即便在存在大尺度差异时也能切实适配实际多尺度相机系统。
引用
@article{arxiv.2011.14631,
title = {Cross-MPI: Cross-scale Stereo for Image Super-Resolution using Multiplane Images},
author = {Yuemei Zhou and Gaochang Wu and Ying Fu and Kun Li and Yebin Liu},
journal= {arXiv preprint arXiv:2011.14631},
year = {2021}
}