用于卫星视频超分辨率的局部-全局时域差异学习
计算机视觉与模式识别
2025-04-29 v3
摘要
基于光流和基于核的方法已被广泛探索用于卫星视频超分辨率（VSR）中的时间补偿。然而，这些技术在大规模或复杂场景（尤其是卫星视频）中泛化性较差。本文中，我们提出利用定义良好的时域差异来实现高效且有效的时间补偿。为充分利用帧内的局部与全局时间信息，我们系统性地建模了短期与长期时域差异，因为我们观察到这些差异具有不同且互为互补的特性。具体而言，我们设计了短期时域差异模块（S-TDM），从相邻帧间的RGB差异图中提取局部运动表示，从而为准确的纹理表示提供更多线索。为探索整个帧序列中的全局依赖，提出了长期时域差异模块（L-TDM），其中将前向与后向片段间的差异进行融合并激活以引导时间特征的调制，从而实现整体全局补偿。此外，我们进一步提出差异补偿单元（DCU）来丰富目标帧空间分布与时间补偿结果之间的交互，有助于在细化特征以避免错位的同时保持空间一致性。在五颗主流视频卫星上进行的严格客观与主观评估表明，我们的方法优于最先进的方法。代码将发布于 https://github.com/XY-boy/LGTD
引用
@article{arxiv.2304.04421,
title = {Local-Global Temporal Difference Learning for Satellite Video Super-Resolution},
author = {Yi Xiao and Qiangqiang Yuan and Kui Jiang and Xianyu Jin and Jiang He and Liangpei Zhang and Chia-Wen Lin},
journal= {arXiv preprint arXiv:2304.04421},
year = {2025}
}
备注
IEEE Transactions on Circuits and Systems for Video Technology, 34(4): 2789-2802, 2024