解锁光学先验：基于谱线的光合成知识迁移用于SAR通用类别发现
计算机视觉与模式识别
2026-04-27 v1
摘要
通用类别发现（GCD）在标签稀缺的合成孔径雷达（SAR）领域具有巨大的潜力，但其有效性严重受限于大型视觉模型（LVMs）固有的光学先验与SAR图像之间的跨模态不兼容。现有的域适应方法往往缺乏反映成像特征的归纳偏差，导致无法有效地将光学先验迁移到SAR领域。为解决此问题，本文引入模态差异曲线（MDC），将跨模态差异建模为从谱能分布派生的结构化频域描述符。利用该表述，我们提出MDC引导的跨模态先验迁移（MCPT）框架，一个在配对光学-SAR数据上运行的预训练范式。在此框架中，自适应频率记号化（AFT）将MDC转换为可学习的记号，频率感知专家细化（FER）使用这些记号进行基于差异的特征细化。基于这些细化后的表示，对比学习在模态之间对细化后的嵌入进行对齐，并内化适应模式。最终，利用在配对预训练期间学习到的优越SAR特征表示能力，用于下游单模态SAR-GCD任务。大量实验表明，在多个主流数据集上实现最先进的性能，表明频域差异建模使更有效地将光学先验适应到SAR图像。
引用
@article{arxiv.2604.22174,
title = {Unlocking Optical Prior: Spectrum-Guided Knowledge Transfer for SAR Generalized Category Discovery},
author = {Jingyuan Xia and Ruikang Hu and Ye Li and Zhixiong Yang and Xu Lan and Zhejun Lu},
journal= {arXiv preprint arXiv:2604.22174},
year = {2026}
}