一种面向遥感图像描述生成的新型轻量级Transformer与边缘感知融合方法
计算机视觉与模式识别
2025-06-12 v1
摘要
基于Transformer的模型通过捕捉长程依赖和上下文信息在遥感图像描述生成中取得了强劲性能。然而，其实际部署受到高计算成本的阻碍，尤其是在采用独立Transformer编码器和解码器的多模态框架中。此外，现有的遥感图像描述生成模型主要关注高层语义提取，而常常忽略边缘、轮廓和物体边界等细粒度结构特征。为应对这些挑战，提出了一种轻量级Transformer架构，通过降低编码器层的维度并采用蒸馏版GPT-2作为解码器来实现。使用知识蒸馏策略将复杂教师模型的知识迁移至轻量网络以提升其性能。此外，引入边缘感知增强策略以增强图像表示和物体边界理解，使模型能够捕捉遥感图像中的细粒度空间细节。实验结果表明，所提方法在描述质量上显著优于现有最先进方法。
引用
@article{arxiv.2506.09429,
title = {A Novel Lightweight Transformer with Edge-Aware Fusion for Remote Sensing Image Captioning},
author = {Swadhin Das and Divyansh Mundra and Priyanshu Dayal and Raksha Sharma},
journal= {arXiv preprint arXiv:2506.09429},
year = {2025}
}