面向遥感图文检索的参数高效迁移学习
计算机视觉与模式识别
2023-08-25 v1
摘要
视觉-语言预训练（VLP）模型近来人气激增。通过在特定数据集上微调，其在各类任务中均观察到显著的性能提升。然而，VLP模型的全量微调不仅消耗大量计算资源，且对环境造成显著影响。此外，由于遥感（RS）数据持续更新，全量微调对于实际应用可能并不切实。为解决此问题，本工作中我们研究参数高效迁移学习（PETL）方法，以在图文检索任务上有效且高效地将视觉-语言知识从自然域迁移至RS域。为此，我们做出如下贡献：1）我们为RS图文检索（RSITR）任务构建了一个新颖且精细的PETL框架，其包含预训练的CLIP模型、多模态遥感适配器以及混合多模态对比（HMMC）学习目标；2）为处理RS数据模态内相似度高的问题，我们设计了一个简单而有效的HMMC损失；3）我们提供了基于PETL的RS图文检索的详尽实证研究。我们的结果表明所提方法前景良好且极具实际应用潜力。4）我们在RSITR任务上对大量最先进的PETL方法进行了基准测试。我们提出的模型仅含0.16M训练参数，相较全量微调可实现98.9%的参数缩减，从而大幅节省训练成本。我们的检索性能超越传统方法7-13%，并取得与全量微调相当或更优的性能。本工作可为RS视觉-语言任务提供新思路与有益见解。
引用
@article{arxiv.2308.12509,
title = {Parameter-Efficient Transfer Learning for Remote Sensing Image-Text Retrieval},
author = {Yuan Yuan and Yang Zhan and Zhitong Xiong},
journal= {arXiv preprint arXiv:2308.12509},
year = {2023}
}