Continual Barlow Twins：面向遥感语义分割的持续自监督学习
计算机视觉与模式识别
2023-01-10 v2
摘要
在地球观测（EO）领域，持续学习（CL）算法已被提出通过将大型数据集分解为若干子集并增量处理来应对。多数此类算法假设数据（a）来自单一源，且（b）完全标注。现实世界EO数据集的特征反而是高度异质性（如来自航空、卫星或无人机场景），且大部分无标注，意味着只能通过新兴的自监督学习（SSL）范式充分挖掘。出于这些原因，本文提出一种融合SSL与CL用于遥感应用的新算法，称为Continual Barlow Twins（CBT）。它结合了最简自监督技术之一即Barlow Twins的优势与弹性权重巩固方法，以避免灾难性遗忘。此外，我们首次在高度异质的EO数据集上评估SSL方法，在三个几乎不重叠域数据集（航空Potsdam数据集、卫星US3D数据集与无人机UAVid数据集）的新颖组合上，展示了这些策略在EO关键下游任务即语义分割上的有效性。令人鼓舞的结果显示了SSL在此设定下的优越性，以及基于ResNet50构建增量式有效预训练特征提取器的成效，而无需依赖所有数据的完全可用，从而可观地节省时间与资源。
引用
@article{arxiv.2205.11319,
title = {Continual Barlow Twins: continual self-supervised learning for remote sensing semantic segmentation},
author = {Valerio Marsocci and Simone Scardapane},
journal= {arXiv preprint arXiv:2205.11319},
year = {2023}
}