ChromaFormer：面向栅格地物分类的可扩展高精度 Transformer 架构
计算机视觉与模式识别
2025-03-12 v1 机器学习
摘要
诱饵卫星系统（如 Sentinel）提供约10米分辨率的地球表面全覆盖数据。遥感社区因其在 UCMerced 和 ISPRS Vaihingen 等基准数据集上的卓越性能，广泛采用深度学习模型。卷积模型如 UNet 和 ResNet 变体常用于遥感，但仅支持三通道输入（因最初为 RGB 影像设计），而卫星系统提供超过十个通道。最近，针对遥感的 Transformer 架构提出了若干方案，但缺乏广泛基准测试，且通常仅用于像 Salinas Valley 这类小规模数据集。与此同时，越来越多国家可获得其一级行政区的密集空间土地利用标签。规模定律表明，大规模多光谱 Transformer 模型可能在此类场景下实现显著性的遥感性能提升。本文提出 ChromaFormer，一套多光谱 Transformer 模型，我们在覆盖超过 13,500 平方公里、包含 15 类土地覆盖的比利时弗拉芒大地密集标签数据集上，对其在模型参数数量级差异下的性能和规模效应进行评估。我们提出了一种新颖的多光谱注意力策略，并通过消融实验证明其有效性。进一步我们表明，许多数量级超过常规架构（如 UNet）的模型可实现显著精度提升：一个参数为 2300 万的 UNet++ 模型准确率不足 65%，而参数为 6.55 亿的多光谱 Transformer 模型在比利时弗拉芒生物价值图上准确率超过 95%。
关键词
引用
@article{arxiv.2503.08534,
title = {ChromaFormer: A Scalable and Accurate Transformer Architecture for Land Cover Classification},
author = {Mingshi Li and Dusan Grujicic and Ben Somers and Stien Heremans and Steven De Saeger and Matthew B. Blaschko},
journal= {arXiv preprint arXiv:2503.08534},
year = {2025}
}