HighRes-net：用于卫星影像多帧超分辨率的递归融合方法
计算机视觉与模式识别
2020-02-19 v1 机器学习
图像与视频处理
机器学习
摘要
生成式深度学习引发了一波超分辨率(SR)算法的新浪潮，这些算法以令人印象深刻的审美效果增强单幅图像，尽管带有虚构的细节。多帧超分辨率(MFSR)通过对多幅低分辨率视图进行条件化，为这一病态问题提供了更扎实的途径。这对于依赖可靠影像的、监测人类对地球影响的卫星观测——从森林砍伐到侵犯人权——十分重要。为此，我们提出 HighRes-net，这是首个以端到端方式学习其子任务的多帧超分辨率深度学习方法：(i) 共配准，(ii) 融合，(iii) 上采样，以及 (iv) 损失处配准。低分辨率视图的共配准通过参考帧通道隐式学习，无需显式配准机制。我们学习一个全局融合算子，可递归地应用于任意数量的低分辨率图像对。我们通过学习使用 ShiftNet 将 SR 输出对齐到真值，引入了配准损失。我们表明，通过学习多视图的深度表示，我们可以超分辨低分辨率信号并大规模增强地球观测数据。我们的方法最近在欧洲空间局基于真实世界卫星影像的 MFSR 竞赛中夺得榜首。
引用
@article{arxiv.2002.06460,
title = {HighRes-net: Recursive Fusion for Multi-Frame Super-Resolution of Satellite Imagery},
author = {Michel Deudon and Alfredo Kalaitzis and Israel Goytom and Md Rifat Arefin and Zhichao Lin and Kris Sankaran and Vincent Michalski and Samira E. Kahou and Julien Cornebise and Yoshua Bengio},
journal= {arXiv preprint arXiv:2002.06460},
year = {2020}
}
备注
15 pages, 5 figures