探索 DINO：合成孔径雷达影像中的涌现特性与局限

自监督学习（SSL）模型近期在包括图像分割在内的多种任务中展现出卓越性能。本研究深入探讨无标签自蒸馏（DINO）算法的涌现特性及其在合成孔径雷达（SAR）影像上的应用。我们使用无标签 SAR 数据预训练基于视觉 Transformer（ViT）的 DINO 模型，随后微调该模型以预测高分辨率土地覆盖图。我们严格评估 ViT 主干生成的注意力图的效用，并将其与模型的 token 嵌入空间进行比较。我们观察到相较于从头训练，预训练带来微小的性能提升，并讨论了 SSL 用于遥感与土地覆盖分割的局限与机遇。除小幅性能提升外，我们表明 ViT 注意力图对遥感具有极大的内在价值，并可为其他算法提供有用输入。由此，我们的工作为更大更优的地球观测 SSL 模型奠定基础。