高效尖峰驱动 Transformer 用于无人机视角地理定位
计算机视觉与模式识别
2026-01-30 v2
摘要
基于人工神经网络(ANN)的传统无人机视角地理定位(DVGL)方法已取得显著性能，但ANN依赖密集计算，导致能耗高。相比之下，受尖峰驱动计算益处的脉冲神经网络(SNN)天然提供低能耗。然而，SNN在DVGL领域的潜力尚未得到充分调查。此外，尖峰驱动计算在表征学习场景下的稀疏性也导致关键信息丢失，以及在对齐异构视觉数据源时难以学习长程依赖。为解决此问题，本文提出SpikeViMFormer，即首个为DVGL设计的SNN框架。该框架采用轻量级尖峰驱动变换器主干网络提取粗粒度特征。为缓解关键信息丢失，设计了尖峰驱动选择性注意(SSA)模块，通过尖峰驱动门控机制实现特征选择性增强，突出判别性区域。此外，引入尖峰驱动混合状态(SHS)模块以混合状态学习长程依赖。推理阶段仅使用主干网络以降低计算成本。为确保主干网络有效性，提出新颖的分层重排序对齐学习(HRAL)策略。实验结果表明，SpikeViMFormer在最先进的SNN方面均优于，且与先进ANN也达到竞争性能。我们的代码已公开于 https://github.com/ISChenawei/SpikeViMFormer
引用
@article{arxiv.2512.19365,
title = {Efficient Spike-driven Transformer for High-performance Drone-View Geo-Localization},
author = {Zhongwei Chen and Hai-Jun Rong and Zhao-Xu Yang and Guoqi Li},
journal= {arXiv preprint arXiv:2512.19365},
year = {2026}
}