基于频率学习的 RGB-Event 视觉 Transformer 跟踪器 FreqTrack
计算机视觉与模式识别
2026-04-17 v1
摘要
现有的单模态 RGB 跟踪器在复杂动态场景中常常面临性能瓶颈，而事件传感器的引入为增强跟踪能力提供了新的潜力。然而，当前大多数 RGB-Event 融合方法主要在空间域中利用卷积、Transformer 或 Mamba 架构设计，未能充分利用事件数据独特的时序响应和高频特性。为此，我们提出 FreqTrack，一个基于频率感知的 RGBE 跟踪框架，通过频率域转换建立互补的跨模态相关性，以实现更稳健的特征融合。我们设计了谱增强 Transformer（SET）层， incorporates 多头动态傅里叶滤波，以适应性地增强和选择频率域特征。此外，我们开发了小波边缘细化（WER）模块，利用可学习的小波变换显式提取事件数据的多尺度边缘结构，有效提升了在高速和低光照场景中的建模能力。广泛的在 COESOT 和 FE108 数据集上的实验表明，FreqTrack 在性能上表现出色，尤其在 COESOT 基准上实现了 76.6% 的领先精度，验证了频率域建模对于 RGBE 跟踪的有效性。
引用
@article{arxiv.2604.14526,
title = {FreqTrack: Frequency Learning based Vision Transformer for RGB-Event Object Tracking},
author = {Jinlin You and Muyu Li and Xudong Zhao},
journal= {arXiv preprint arXiv:2604.14526},
year = {2026}
}