AVION：面向遥感图像的视觉语言指令学习——从离线教师到提示调优网络
计算机视觉与模式识别
2026-03-16 v1
摘要
适应遥感图像的视觉语言模型仍面临两个关键挑战：文本表示的语义覆盖范围有限以及视觉特征的适应性不足。这一问题在航空场景中尤为突出，因涉及多样的视觉表现形式和细粒度目标区分。我们提出了AVION，这是一个针对遥感领域视觉语言模型适应的知识蒸馏框架。教师模块通过收集大语言模型生成的描述并利用遥感图像特征验证其有效性，构建语义丰富的文本原型。学生模块在视觉编码器和语言编码器中集成轻量级可学习的提示符，由教师引导对齐嵌入及其跨模态关系。训练完成后，学生在推理阶段可独立运行。在六个遥感基准数据集上的实验表明，AVION在无监督分类和基座类别准确率方面均有提升，且未损害对新类别的泛化能力。它还显著提升了跨模态检索的平均召回率，同时引入的参数开销极小。
引用
@article{arxiv.2603.12659,
title = {AVION: Aerial Vision-Language Instruction from Offline Teacher to Prompt-Tuned Network},
author = {Yu Hu and Jianyang Gu and Hao Liu and Yue Cao and Jozsef Hamari and Zheng Liu and Mohsen Zardadi},
journal= {arXiv preprint arXiv:2603.12659},
year = {2026}
}
备注
Accepted to CVPR 2026