基于层次双变更协作学习的无人机场景变更描述
计算机视觉与模式识别
2026-03-16 v1 人工智能
摘要
本文提出了一个新任务用于无人机场景理解——无人机场景变更描述（UAV-SCC）——旨在生成对动态航空图像中语义变化的自然语言描述。与传统变更描述不同，后者主要描述来自固定摄像机视角随时间捕获的图像对之间的差异，而无人机场景变更描述聚焦于由移动摄像机捕获的图像对之间的差异，这些差异源于由于摄像机旋转引起的视角位移以及空间场景变化。关键挑战在于理解由于摄像机旋转引起的视角导致的无人机图像对间仅部分重叠场景内容的变化，同时有效利用两幅图像之间的相对姿态。为此，我们提出了层次双变更协作学习（HDC-CL）方法用于无人机场景变更描述。具体而言，我们设计了一种新型Transformer，即动态自适应布局Transformer（DALT），用于适应性地建模图像对多样化的空间布局，其中来自重叠区域和非重叠区域的相互关联特征在灵活且统一的编码层中得到学习。此外，我们提出了层次跨模态姿态一致性校准（HCM-OCC）方法来增强模型对视角位移方向的敏感性，从而实现更准确的变更描述。为促进该任务的深入研究，我们构建了一个新的基准数据集，命名为 UAV-SCC 数据集，用于无人机场景变更描述。广泛的实验表明，所提方法在该任务上实现了最先进的性能。该数据集和代码将在本文接受后公开发布。
引用
@article{arxiv.2603.12832,
title = {Hierarchical Dual-Change Collaborative Learning for UAV Scene Change Captioning},
author = {Fuhai Chen and Pengpeng Huang and Junwen Wu and Hehong Zhang and Shiping Wang and Xiaoguang Ma and Xuri Ge},
journal= {arXiv preprint arXiv:2603.12832},
year = {2026}
}
备注
20 pages,10 figures