UHR-BAT:面向超高分辨率遥感的预算感知视觉语言模型token压缩
计算机视觉与模式识别
2026-04-16 v1 人工智能
摘要
超高分辨率(UHR)遥感图像将千米尺度的上下文与仅占几像素的查询关键证据耦合在一起。这种巨大的空间尺度导致视觉token呈二次方增长,阻碍从小目标中提取信息。以往方法利用直接下采样、稠密瓦片或全局top-k剪枝,要么牺牲查询关键图像细节,要么导致计算不可预测。本文提出UHR-BAT,一个以查询为导向且区域忠实的token压缩框架,在严格的上下文预算下高效选择视觉token。具体而言,我们利用文本引导的多尺度重要性估计,对视觉token进行重要性评估,有效解决在精确又低成本下提取特征的挑战。进一步通过引入区域保留和合并策略,我们缓解了视觉token冗余,进一步降低计算预算。实验结果表明,UHR-BAT在各种基准测试中实现了最先进的性能。代码将公开于https://github.com/Yunkaidang/UHR。
引用
@article{arxiv.2604.13565,
title = {UHR-BAT: Budget-Aware Token Compression Vision-Language model for Ultra-High-Resolution Remote Sensing},
author = {Yunkai Dang and Minxin Dai and Yuekun Yang and Zhangnan Li and Wenbin Li and Feng Miao and Yang Gao},
journal= {arXiv preprint arXiv:2604.13565},
year = {2026}
}