基于显著性感知动态路由策略的遥感图像轻量级无级超分辨率
计算机视觉与模式识别
2023-02-08 v1
摘要
基于深度学习的算法大幅提升了遥感图像(RSI)超分辨率(SR)的性能。然而,网络深度与参数的增加带来了巨大的计算与存储负担。直接缩减现有模型的深度或宽度会导致性能大幅下降。我们观察到,一幅RSI中不同区域的SR难度差异显著,而现有方法使用相同的深层网络处理图像中所有区域,造成计算资源的浪费。此外,现有SR方法通常预定义整数倍尺度因子,无法实现无级SR,即单个模型可处理任意潜在尺度因子。在每个尺度因子上重新训练模型浪费了大量计算资源与模型存储空间。为解决上述问题,我们提出一种显著性感知动态路由网络(SalDRN),用于RSI的轻量级无级SR。首先,我们引入视觉显著性作为区域级SR难度的指示,并将一个轻量级显著性检测器集成到SalDRN中以捕获像素级视觉特征。随后,我们设计了一种显著性感知动态路由策略,利用路径选择开关根据子图像块的SR难度自适应选取适当深度的特征提取路径。最后,我们提出一种新颖的轻量级无级上采样模块,其核心为一个隐式特征函数,用于实现从低分辨率特征空间到高分辨率特征空间的映射。综合实验验证了SalDRN能在性能与复杂度之间取得良好权衡。代码见 \url{https://github.com/hanlinwu/SalDRN}。
引用
@article{arxiv.2210.07598,
title = {Lightweight Stepless Super-Resolution of Remote Sensing Images via Saliency-Aware Dynamic Routing Strategy},
author = {Hanlin Wu and Ning Ni and Libao Zhang},
journal= {arXiv preprint arXiv:2210.07598},
year = {2023}
}