基于对比学习的多层级跨模态特征对齐用于遥感图像场景零样本分类
计算机视觉与模式识别
2023-06-12 v1 机器学习
摘要
图像场景零样本分类能够识别训练阶段未见过的图像场景，在降低对大量标注样本依赖方面大有前景。针对零样本图像场景分类，近年来提出了跨模态特征对齐方法。这些方法主要侧重于在潜空间中将每个图像场景的视觉特征与其对应的语义描述符进行匹配。不同图像场景之间及不同语义描述符之间的对比关系则较少受到关注。鉴于图像场景类内差异大、类间相似度高以及潜在噪声样本的挑战，这些方法易受到远离同类样本且接近异类样本的那些实例的影响。本工作中，我们提出一种基于对比学习的多层级跨模态特征对齐方法，用于遥感图像场景零样本分类。在促进每个图像场景与其对应语义描述符间单实例级正对齐的同时，所提方法考虑了跨实例对比关系，并学习在潜空间中使不同类的视觉与语义特征彼此远离。我们进行了大量实验来评估所提方法的性能。结果表明，我们的方法在零样本遥感图像场景分类上优于state of the art方法。所有代码与数据可在github https://github.com/masuqiang/MCFA-Pytorch 获取。
引用
@article{arxiv.2306.06066,
title = {Multi-level Cross-modal Feature Alignment via Contrastive Learning towards Zero-shot Classification of Remote Sensing Image Scenes},
author = {Chun Liu and Suqiang Ma and Zheng Li and Wei Yang and Zhigang Han},
journal= {arXiv preprint arXiv:2306.06066},
year = {2023}
}