面向遥感任务的自监督材料与纹理表示学习
计算机视觉与模式识别
2021-12-06 v1 人工智能
图像与视频处理
摘要
自监督学习旨在无需使用人工标注标签的情况下学习图像特征表示。它常被用作前置步骤，以获得有助于下游任务更快收敛与更优性能的可用初始网络权重。尽管自监督能够在不使用标签的情况下缩小监督与无监督学习之间的域差距，自监督目标仍需要对下游任务具备强归纳偏置以实现有效迁移学习。本工作中，我们提出受经典材料与纹理方法启发的基于材料与纹理的自监督方法MATTER（MATerial and TExture Representation Learning，材料与纹理表示学习）。材料与纹理可有效描述任意表面，包括其触觉属性、颜色与镜面反射特性。引申而言，材料与纹理的有效表示可强关联地描述其他语义类别。MATTER利用未变化区域上多时相、空间对齐的遥感影像学习对光照与视角的不变性，以此作为实现材料与纹理表示一致性的机制。我们表明，我们的自监督预训练方法在无监督与微调设定下分别带来最高24.22%与6.33%的性能提升，并在变化检测、土地覆盖分类与语义分割任务上实现最高76%的更快收敛。
引用
@article{arxiv.2112.01715,
title = {Self-Supervised Material and Texture Representation Learning for Remote Sensing Tasks},
author = {Peri Akiva and Matthew Purri and Matthew Leotta},
journal= {arXiv preprint arXiv:2112.01715},
year = {2021}
}