GeoLLaVA：用于遥感时序变化检测的高效微调视觉-语言模型
计算机视觉与模式识别
2025-05-23 v2
摘要
检测地理景观的时序变化对于环境监测和城市规划等应用至关重要。尽管遥感数据丰富，但现有的视觉-语言模型（VLM）往往无法有效捕捉时序动态。本文通过引入一个由视频帧对组成的标注数据集来追踪地理模式随时间的演变，从而解决了这些局限性。我们在 Video-LLaVA 和 LLaVA-NeXT-Video 等模型上应用了低秩自适应（LoRA）、量化 LoRA（QLoRA）和模型剪枝等微调技术，显著提升了 VLM 在处理遥感时序变化方面的性能。结果显示出显著改善，最佳性能达到了 0.864 的 BERT 分数和 0.576 的 ROUGE-1 分数，证明在描述土地利用变化方面具有卓越的准确性。
引用
@article{arxiv.2410.19552,
title = {GeoLLaVA: Efficient Fine-Tuned Vision-Language Models for Temporal Change Detection in Remote Sensing},
author = {Hosam Elgendy and Ahmed Sharshar and Ahmed Aboeitta and Yasser Ashraf and Mohsen Guizani},
journal= {arXiv preprint arXiv:2410.19552},
year = {2025}
}
备注
14 pages, 5 figures, 3 tables