面向卫星视频的深度盲超分辨率
计算机视觉与模式识别
2024-01-17 v1 人工智能
图像与视频处理
摘要
近期的努力见证了卫星视频超分辨率（SVSR）的显著进展。然而，大多数 SVSR 方法通常假设退化是固定且已知的（例如双三次下采样），这使得它们在具有多重且未知退化的真实场景中显得脆弱。为了缓解这一问题，盲超分辨率（blind SR）因此成为研究热点。尽管如此，现有方法主要致力于模糊核估计，却忽视了 VSR 任务的另一个关键方面：时间补偿，尤其是利用来自严重退化卫星视频的关键锐度信息来补偿模糊和平滑的像素。因此，本文提出了一种实用的盲 SVSR 算法（BSVSR），通过以由粗到细的方式考虑像素级模糊水平来探索更多锐度线索。具体而言，我们采用多尺度可变形卷积，通过窗口滑动渐进融合将时间冗余粗略聚合到相邻帧中。然后，使用可变形注意力将相邻特征精细合并为中间特征，该机制测量像素的模糊水平并为信息丰富的像素分配更多权重，从而激发锐度的表示。此外，我们设计了一个金字塔空间变换模块来调整锐利中间特征的解空间，从而实现多级域中的灵活特征自适应。在模拟和真实卫星视频上的定量和定性评估表明，我们的 BSVSR 优于最先进的非盲和盲 SR 模型。代码将在 https://github.com/XY-boy/Blind-Satellite-VSR 公开
引用
@article{arxiv.2401.07139,
title = {Deep Blind Super-Resolution for Satellite Video},
author = {Yi Xiao and Qiangqiang Yuan and Qiang Zhang and Liangpei Zhang},
journal= {arXiv preprint arXiv:2401.07139},
year = {2024}
}
备注
Published in IEEE TGRS