RingMo-lite：一种基于CNN-Transformer混合框架的遥感多任务轻量化网络
计算机视觉与模式识别
2023-09-19 v1
摘要
近年来，RingMo等遥感(RS)视觉基础模型涌现，并在各类下游任务中取得优异性能。然而，对计算资源的高需求限制了这些模型在边缘设备上的应用。有必要设计更轻量的基础模型以支撑星上遥感图像解译。现有方法在实现轻量化方案的同时保持遥感图像解译的泛化性方面面临挑战。这是由于遥感图像中复杂的高频与低频光谱分量，使得传统单一CNN或Vision Transformer方法不适用于该任务。因此，本文提出RingMo-lite，一种具有CNN-Transformer混合框架的遥感多任务轻量化网络，其有效利用遥感频域特性优化解译过程。它通过双分支结构将Transformer模块作为低通滤波器提取遥感图像全局特征，并将CNN模块作为堆叠高通滤波器有效提取细粒度细节。此外，在预训练阶段，所设计的频域掩码图像建模(FD-MIM)结合每个图像块的高频与低频特性，有效捕获遥感数据中的潜在特征表示。如图1所示，与RingMo相比，所提RingMo-lite在各遥感图像解译任务中参数量减少超60%，多数场景下平均精度下降小于2%，且与同等规模模型相比达到SOTA性能。另外，我们的工作将在不久的将来集成至MindSpore计算平台。
引用
@article{arxiv.2309.09003,
title = {RingMo-lite: A Remote Sensing Multi-task Lightweight Network with CNN-Transformer Hybrid Framework},
author = {Yuelei Wang and Ting Zhang and Liangjin Zhao and Lin Hu and Zhechao Wang and Ziqing Niu and Peirui Cheng and Kaiqiang Chen and Xuan Zeng and Zhirui Wang and Hongqi Wang and Xian Sun},
journal= {arXiv preprint arXiv:2309.09003},
year = {2023}
}