面向遥感图文检索的尺度-语义联合解耦网络
计算机视觉与模式识别
2022-12-13 v1 人工智能
摘要
遥感图文检索旨在为数据分析与应用提供灵活信息。近年来，最先进的方法致力于“尺度解耦”与“语义解耦”策略以进一步增强表征能力。然而，这些已有方法或关注解耦尺度、或关注解耦语义，却忽略在统一模型中融合这两种思想，这极大限制了跨模态检索模型的性能。为解决这些问题，我们提出一种新颖的尺度-语义联合解耦网络（SSJDN）用于遥感图文检索。具体而言，我们设计了双向尺度解耦（BSD）模块，其利用显著特征提取（SFE）与显著引导抑制（SGS）单元，以双向模式自适应提取潜在特征并抑制其他尺度上的冗余特征，从而产生不同尺度线索。此外，我们设计了标签监督语义解耦（LSD）模块，借助类别语义标签作为先验知识来监督图像与文本探查显著的语义相关信息。最后，我们设计了语义引导三元损失（STL），其自适应生成常数以调整损失函数，从而提高匹配相同语义图像与文本的概率并缩短检索模型的收敛时间。我们所提 SSJDN 在四个基准遥感数据集上开展的数值实验中优于最先进方法。
引用
@article{arxiv.2212.05752,
title = {Scale-Semantic Joint Decoupling Network for Image-text Retrieval in Remote Sensing},
author = {Chengyu Zheng and Ning song and Ruoyu Zhang and Lei Huang and Zhiqiang Wei and Jie Nie},
journal= {arXiv preprint arXiv:2212.05752},
year = {2022}
}