Spatial Orthogonal Refinement for Robust RGB-Event Visual Object Tracking

鲁棒的视觉对象跟踪 (VOT) 在高速运动场景中仍然具有挑战性，其中常用的 RGB 传感器会受到严重的运动模糊和性能下降。事件相机具有微秒级时间分辨率和高动态范围，提供可补偿这些限制的结构线索。然而，现有的 RGB-Event 融合方法通常将事件数据视为密集强度表示，采用黑箱融合策略，无法显式利用事件流中固有的方向几何先验来纠正受损的 RGB 特征。为解决这一限制，我们提出 SOR-Track，一种基于空间正交细化 (SOR) 的鲁棒 RGB-Event 跟踪框架。核心 SOR 模块采用一组由局部运动方向动态指导的正交方向滤波器，从事件流中提取锐利且运动一致的结构响应。这些响应作为几何锚点，用于通过非对称结构调制机制来调制和细化混叠的 RGB 纹理，从而显式地桥接两种模态之间的结构差异。在大型基准 FE108 上进行的广泛实验表明，SOR-Track 在运动模糊和低光条件下均一致优于现有的基于融合的跟踪器。尽管方法简单，但本文提供了一种原则且基于物理的多模态特征对齐和纹理校正方法。