通过大语言模型将物理先验迁移到遥感分割任务
计算机视觉与模式识别
2026-03-31 v1
摘要
遥感图像语义分割是地球观测的基本任务。实现准确的结果需要不仅整合光学图像，还要整合数字高程模型 (DEM)、合成孔径雷达 (SAR) 和归一化植被指数 (NDVI) 等物理变量。最近的基础模型 (FMs) 通过预训练利用这些变量，但仍依赖空间对齐的数据以及在涉及新传感器时昂贵的重新训练。为克服这些限制，本文引入了一种将领域特定物理先验整合到分割模型中的新范式。我们首先通过引导大语言模型从 1,763 个词汇表中提取物理先验，构建物理中心知识图谱 (PCKG)，并据此构建异构、空间对齐的数据集 Phy-Sky-SA。基于此基础，我们开发了 PriorSeg，一种结合视觉-物理策略的物理感知残差细化模型，包含新颖的物理一致性损失。在异构设置下的实验表明，PriorSeg 在分割精度和物理合理性方面均取得改善，而无需对 FMs 进行重新训练。消融研究验证了 Phy-Sky-SA 数据集、PCKG 和物理一致性损失的有效性。
引用
@article{arxiv.2603.27504,
title = {Transferring Physical Priors into Remote Sensing Segmentation via Large Language Models},
author = {Yuxi Lu and Kunqi Li and Zhidong Li and Xiaohan Su and Biao Wu and Chenya Huang and Bin Liang},
journal= {arXiv preprint arXiv:2603.27504},
year = {2026}
}