面向遥感表示的自主学习：一种无监督传感器融合方法
摘要
在机器学习应用于遥感时，标注数据往往稀缺或昂贵，这阻碍了像深度卷积神经网络这样强大模型的训练。尽管无标注数据丰富，近期的自监督学习方法并不适合遥感领域。此外，大多数遥感应用目前仅使用了可用的多传感器、多通道信息中的一小部分，这催生了对融合多传感器表示的需求。我们提出了一种新的自监督训练目标——对比传感器融合（Contrastive Sensor Fusion），其利用来自多个来源的共位数据来学习这些来源任意组合的有用表示。该方法通过使用多个传感器和波段间共有的信息，训练单一模型以在其任意输入通道子集被使用时产生保持相似的表示。利用一个包含4700万无标注共位图像三元组的数据集，我们训练了一个编码器，以从输入传感器的任意通道组合中产生语义上有意义的表示。这些表示在遥感分类任务上优于完全监督的ImageNet权重，并且随着融合更多传感器而提升。我们的代码可在 https://storage.cloud.google.com/public-published-datasets/csf_code.zip 获取。
引用
@article{arxiv.2108.05094,
title = {Representation Learning for Remote Sensing: An Unsupervised Sensor Fusion Approach},
author = {Aidan M. Swope and Xander H. Rudelis and Kyle T. Story},
journal= {arXiv preprint arXiv:2108.05094},
year = {2021}
}
备注
9 pages, 5 figures. Work completed in 2019 and submitted to ICLR in 2020. Source code available at: https://github.com/descarteslabs/contrastive_sensor_fusion. Data available at: https://storage.cloud.google.com/public-published-datasets/osm_example_dataset.zip?folder=true&organizationId=272688069953