结合通道分割网络与 Transformer 的双边网络用于热成像超分辨率
计算机视觉与模式识别
2022-06-27 v1 机器学习
图像与视频处理
摘要
近年来，热成像超分辨率（TISR）问题已成为一个引人关注的研究课题。TISR 将被用于广泛领域，包括军事、医疗、农业和动物生态学。由于 PBVS-2020 与 PBVS-2021 研讨会挑战赛的成功，TISR 的结果不断提升，并吸引更多研究者报名参与 PBVS-2022 挑战赛。本文中，我们将介绍我们提交至 PBVS-2022 挑战赛的技术细节，设计了一种结合通道分割网络与 Transformer 的双边网络（BN-CSNT）来解决 TISR 问题。首先，我们设计了一个基于通道分割网络与 Transformer 的上下文分支以获取充分的上下文信息。其次，我们设计了一个带有浅层 Transformer 的空间分支来提取可保留空间信息的低层特征。最后，对于上下文分支，为了融合来自通道分割网络与 Transformer 的特征，我们提出了一种注意力精炼模块，然后上下文分支与空间分支的特征通过所提出特征融合模块进行融合。所提方法在 PBVS-2022 挑战赛测试数据集上可达到 x4 的 PSNR=33.64、SSIM=0.9263，以及 x2 的 PSNR=21.08、SSIM=0.7803。
引用
@article{arxiv.2206.12046,
title = {Bilateral Network with Channel Splitting Network and Transformer for Thermal Image Super-Resolution},
author = {Bo Yan and Leilei Cao and Fengliang Qi and Hongbin Wang},
journal= {arXiv preprint arXiv:2206.12046},
year = {2022}
}
备注
The second place solution for CVPR2022 PBVS-TISR challenge