基于集成高光谱 EnMAP 数据和多光谱 Sentinel-2 时间序列的粗粒度分层作物类型分类：大规模数据集与双流 Transformer 方法
计算机视觉与模式识别
2025-06-10 v2 机器学习
摘要
粗粒度作物类型分类是大规模作物图图的基础，对确保粮食安全具有至关重要的作用。它需要同时捕获从多时序卫星数据（如 Sentinel-2）获取的生长季节动态，以及来自高光谱图像所需的亚纳米尺度光谱分辨率中捕捉的细微光谱变化。目前，由于高光谱数据获取和作物类型标注成本的挑战，将这两种模态结合的研究仍稀少。为此，我们构建了一个分层高光谱作物数据集（H2Crop），通过将 30m 分辨率的 EnMAP 高光谱数据与 Sentinel-2 时间序列集成。拥有超过一百万个标注场地块，按四级作物分类学组织，H2Crop 为粗粒度农业作物分类和高光谱图像处理建立了关键基准。我们提出了一种双流 Transformer 架构，协同处理这些模态。它协调两个专门的路径：光谱-空间 Transformer 从高光谱 EnMAP 数据中提取细粒度光谱特征，而时间 Swin Transformer 从 Sentinel-2 时间序列中提取作物生长模式。设计的分层分类头与分层融合随后在所有分类层级上同时提供多级作物类型分类。实验表明，将高光谱 EnMAP 数据添加到 Sentinel-2 时间序列可实现 4.2% 的平均 F1 分数提升（最高达 6.3%）。广泛的比较也确认了我们的方法在作物类型分类方面优于现有深度学习方法，并且高光谱数据在不同时间窗口和作物变化情景下均能持续提供益处。代码和数据集已提供，访问链接为 https://github.com/flyakon/H2Crop。
引用
@article{arxiv.2506.06155,
title = {Fine-grained Hierarchical Crop Type Classification from Integrated Hyperspectral EnMAP Data and Multispectral Sentinel-2 Time Series: A Large-scale Dataset and Dual-stream Transformer Method},
author = {Wenyuan Li and Shunlin Liang and Yuxiang Zhang and Liqin Liu and Keyan Chen and Yongzhe Chen and Han Ma and Jianglei Xu and Yichuan Ma and Shikang Guan and Zhenwei Shi},
journal= {arXiv preprint arXiv:2506.06155},
year = {2025}
}
备注
27 pages, 12 figures