HCCM：面向自然语言引导无人机的层次化跨粒度对比学习
计算机视觉与模式识别
2025-09-01 v1
摘要
自然语言引导无人机 (NLGD) 提供了一种用于目标匹配和导航的新范式。然而，无人机场景中视野广阔且语义组成复杂，给视觉语言理解带来了挑战。主流视觉语言模型 (VLM) 强调全局对齐，缺乏细粒度语义；现有层次化方法依赖精确的实体分区和严格的包含关系，在动态环境中效果受限。为此，我们提出了层次化跨粒度对比与匹配学习 (HCCM) 框架，包含两个组件：(1) 区域-全局图像-文本对比学习 (RG-ITC)，通过对比局部视觉区域与全局文本以及反之，避免精确场景分区，捕获从局部到全局的层次语义；(2) 区域-全局图像-文本匹配 (RG-ITM)，摆脱刚性约束，评估局部语义一致性于全局跨模态表示之间，增强组合推理。此外，无人机文本描述常不完整或模糊，导致对齐不稳定。HCCM引入动量对比与蒸馏 (MCD) 机制以提高鲁棒性。在GeoText-1652数据集上实验表明，HCCM 在图像检索和文本检索的 Recall@1 分别达到28.8%和14.7%。在未见数据集ERA上，HCCM实现了39.93%的平均召回率 (mR)，显著优于微调基线。
引用
@article{arxiv.2508.21539,
title = {HCCM: Hierarchical Cross-Granularity Contrastive and Matching Learning for Natural Language-Guided Drones},
author = {Hao Ruan and Jinliang Lin and Yingxin Lai and Zhiming Luo and Shaozi Li},
journal= {arXiv preprint arXiv:2508.21539},
year = {2025}
}
备注
Accepted by ACM MM'25