通过低层预训练扩散特征的谱 FiLM 调制实现标签高效高光谱图像分类
计算机视觉与模式识别
2025-12-04 v1
摘要
高光谱成像 (HSI) 可实现详细的土地覆盖分类，但低空间分辨率和稀疏标注带来了重大挑战。我们提出了一种标签高效框架，利用在自然图像上预训练的冻结扩散模型的空间特征。我们的方法从早期去噪时间步的高分辨率解码器层提取低层表征，这些表征能有效迁移到 HSI 的低纹理结构。为整合光谱和空间信息，我们引入了一种轻量级 FiLM 融合模块，利用光谱线索自适应地调制冻结的空间特征，在稀疏监督下实现稳健的多模态学习。在两个近期高光谱数据集上的实验表明，我们的方法仅使用提供的稀疏训练标签即超越了最先进方法。消融研究进一步突出了扩散衍生特征和光谱感知融合的优势。总体而言，我们的结果表明，预训练扩散模型可以支持领域无关的、标签高效的表征学习，适用于遥感及更广泛的科学成像任务。
引用
@article{arxiv.2512.03430,
title = {Label-Efficient Hyperspectral Image Classification via Spectral FiLM Modulation of Low-Level Pretrained Diffusion Features},
author = {Yuzhen Hu and Biplab Banerjee and Saurabh Prasad},
journal= {arXiv preprint arXiv:2512.03430},
year = {2025}
}
备注
Accepted to the ICML 2025 TerraBytes Workshop (June 9, 2025)