CoT-MISR：融合卷积与Transformer的多图像超分辨率网络
计算机视觉与模式识别
2023-03-14 v1 图像与视频处理
摘要
作为图像复原的一种方法，图像超分辨率在早期已被广泛研究。如何将低分辨率图像转换以恢复其高分辨率图像信息，是研究者一直在探索的问题。在早期物理变换方法中，这些方法生成的高分辨率图片总是存在严重的信息缺失问题，边缘与细节无法得到良好恢复。随着硬件技术与数学的发展，人们开始使用深度学习方法进行图像超分辨率任务，从直接的深度学习模型、残差通道注意力网络、双向抑制网络，到带有Transformer网络模块的tr网络，已逐渐取得良好效果。在多图超分辨率研究中，得益于多图超分辨率数据集的建立，我们经历了从卷积模型到Transformer模型的演进，超分辨率质量持续提升。然而，我们发现纯卷积或纯tr网络均不能很好地利用低分辨率图像信息。基于此，我们提出了一种新的端到端CoT-MISR网络。CoT-MISR网络利用卷积与tr的优势，弥补了局部与全局信息。在等参数下的数据集验证表明，我们的CoT-MISR网络已达到最优分数指标。
引用
@article{arxiv.2303.06548,
title = {CoT-MISR:Marrying Convolution and Transformer for Multi-Image Super-Resolution},
author = {Mingming Xiu and Yang Nie and Qing Song and Chun Liu},
journal= {arXiv preprint arXiv:2303.06548},
year = {2023}
}