基于序列特征金字塔网络的马赛克超分辨率
图像与视频处理
2020-04-16 v1 计算机视觉与模式识别
机器学习
摘要
多光谱相机设计的进步引发了从天文学到自动驾驶等广泛应用的极大兴趣。然而，此类相机在空间分辨率与光谱分辨率之间存在固有的权衡。本文提出一种新方法，对现代实时单次曝光马赛克传感器捕获的原始马赛克图像（多光谱或 RGB Bayer）进行超分辨率重建，以解决该局限。为此，我们设计了一种深度超分辨率架构，其利用沿网络深度的序列特征金字塔。这实际上是通过使用卷积 LSTM（ConvLSTM）来学习不同感受野特征间的相互依赖关系实现的。此外，通过研究不同注意力机制在我们框架中的效果，我们表明受 ConvLSTM 启发的模块能在我们的语境下提供优越的注意力。我们大量的实验与分析证明，我们的方法取得了显著的超分辨率质量，在 Bayer 与多光谱图像上均优于当前最先进的马赛克超分辨率方法。此外，据我们所知，我们的方法是首个专门用于马赛克图像（无论是多光谱还是 Bayer）超分辨率的专用方法。
引用
@article{arxiv.2004.06853,
title = {Mosaic Super-resolution via Sequential Feature Pyramid Networks},
author = {Mehrdad Shoeiby and Mohammad Ali Armin and Sadegh Aliakbarian and Saeed Anwar and Lars Petersson},
journal= {arXiv preprint arXiv:2004.06853},
year = {2020}
}
备注
Accepted by IEEE CVPR Workshop