Falcon:面向遥感的视觉-语言基础模型(技术报告)
计算机视觉与模式识别
2025-10-17 v2
摘要
本文介绍了一个专为遥感量身定制的整体视觉-语言基础模型,命名为Falcon。Falcon提供了一种统一的、基于提示的范式,能够有效执行全面且复杂的遥感任务。Falcon在图像级、区域级和像素级展现出强大的理解与推理能力。具体而言,给定简单的自然语言指令和遥感图像,Falcon能够在14个不同的任务(即图像分类、目标检测、分割、图像描述等)中以文本形式生成令人印象深刻的结果。为了促进Falcon的训练并赋予其编码丰富空间和语义信息的表示能力,我们开发了Falcon_SFT,这是一个遥感领域的大规模、多任务指令微调数据集。Falcon_SFT数据集包含约7800万个高质量数据样本,涵盖560万张具有多样指令的多空间分辨率和多视角遥感图像。它具有分层注释,并经过人工抽样验证,以确保数据的高质量和可靠性。我们进行了广泛的对比实验,验证了Falcon在67个数据集和14个任务上取得了显著性能,尽管其仅有0.7B参数。我们在 https://github.com/TianHuiLab/Falcon 发布了完整的数据集、代码和模型权重,希望有助于进一步发展开源社区。
引用
@article{arxiv.2503.11070,
title = {Falcon: A Remote Sensing Vision-Language Foundation Model (Technical Report)},
author = {Kelu Yao and Nuo Xu and Rong Yang and Yingying Xu and Zhuoyan Gao and Titinunt Kitrungrotsakul and Yi Ren and Pu Zhang and Jin Wang and Ning Wei and Chao Li},
journal= {arXiv preprint arXiv:2503.11070},
year = {2025}
}