eMoE-Tracker：基于环境混合专家的 Transformer 用于稳健事件导向目标跟踪

帧基和事件相机在高帧率目标跟踪中的独特互补性最近激发了一些研究尝试，以开发多模态融合方法。然而，这些方法直接融合两种模态，因而忽略了环境属性，例如运动模糊、照明变化、遮挡、尺度变化等。同时，搜索和模板特征之间的相互作用不足，使得区分目标对象和背景困难。结果在挑战性条件下导致性能下降。本文提出一种新型且有效的基于 Transformer 的事件导向跟踪框架，称为eMoE-Tracker，在各种条件下实现了新的SOTA性能。我们的关键思想是将环境分解为几个可学习的属性，以动态学习属性特定特征，并通过改进目标模板和搜索区域之间的相互作用来加强目标信息。为此，我们首先提出一种环境混合专家（eMoE）模块，基于环境属性分离学习属性特定特征和环境属性组装，通过可学习的属性得分动态组合属性特定特征。eMoE模块是一个微妙的路由器，更有效地 prompt-tunes Transformer 主干。我们然后引入对抗关系建模（CRM）模块，通过在目标模板和搜索区域之间应用对抗学习策略来强调目标信息。广泛的在多样化事件基准数据集上的实验显示，我们的eMoE-Tracker在各种条件下的性能优于先前的方法。