单对跨模态超分辨率
计算机视觉与模式识别
2021-01-25 v4 机器学习
图像与视频处理
摘要
非视觉成像传感器在工业中被广泛用于不同目的。这些传感器比视觉（RGB）传感器更昂贵，且通常生成分辨率较低的图像。为此，引入了跨模态超分辨率方法，其中高分辨率RGB图像协助提高低分辨率模态的分辨率。然而，融合来自不同模态的图像并非易事；输出必须无伪影且忠实于目标模态的特征。此外，输入图像永远不会完美对齐，这会在融合过程中产生进一步的伪影。我们提出了CMSR，一种用于跨模态超分辨率的深度网络，与以往方法不同，它被设计用于处理弱对齐图像。该网络仅在两幅输入图像上进行训练，学习其内部统计量和相关性，并将其应用于对目标模态进行上采样。CMSR包含一个内部变换器，该变换器与上采样过程本身一起在运行中进行训练，无需显式监督。我们表明，CMSR成功提高了输入图像的分辨率，从其RGB对应图像中获取了有价值的信息，但方式较为保守，不会引入伪影或无关细节。
引用
@article{arxiv.2004.09965,
title = {Single Pair Cross-Modality Super Resolution},
author = {Guy Shacht and Sharon Fogel and Dov Danon and Daniel Cohen-Or and Ilya Leizerson},
journal= {arXiv preprint arXiv:2004.09965},
year = {2021}
}