基于预训练遥感 Transformer 的迁移学习
计算机视觉与模式识别
2022-09-30 v1
摘要
尽管遥感（RS）领域已开始预训练 transformer（旨在用于 RS 任务的微调），这些模型在分布偏移下的表现仍不清楚。在此，我们在一个包含 130 万张卫星衍生 RS 图像的数据集上预训练了一个新的 RS transformer——称为 SatViT-V2——随后将其（连同其他五个模型）微调，以研究其在训练期间未见的分布上的表现。我们将一个专家标注的土地覆盖数据集按源生物群系拆分为 14 个数据集。我们在每个生物群系上分别训练各模型，并在所有其他生物群系上测试。总计这相当于 1638 项生物群系迁移实验。微调后，我们发现 SatViT-V2 在分布内（匹配生物群系）数据上比 SatViT-V1 高出 3.1%，在分布外（不匹配生物群系）数据上高出 2.8%。此外，我们发现从线性探测解初始化微调（即利用 LPFT [1]）使 SatViT-V2 在分布内数据上性能再提升 1.2%，在分布外数据上再提升 2.4%。接下来，我们发现预训练的 RS transformer 在分布偏移下比未预训练模型校准更好，且利用 LPFT 可进一步改善模型校准。最后，我们发现五种分布偏移度量与生物群系迁移性能呈中等相关。我们共享了代码与预训练模型权重。（https://github.com/antofuller/SatViT）
引用
@article{arxiv.2209.14969,
title = {Transfer Learning with Pretrained Remote Sensing Transformers},
author = {Anthony Fuller and Koreen Millard and James R. Green},
journal= {arXiv preprint arXiv:2209.14969},
year = {2022}
}
备注
Draft of manuscript that is being prepared for IEEE TGRS