超越贪婪搜索：基于多智能体强化学习的波束搜索跟踪

为了在视频中跟踪目标，当前的视觉跟踪器通常在每一帧中采用贪婪搜索进行目标定位，即选择响应分数最高的候选区域作为每帧的跟踪结果。然而，我们发现这可能并非最优选择，尤其是在遇到严重遮挡和快速运动等具有挑战性的跟踪场景时。为解决此问题，我们提出维护多条跟踪轨迹并应用波束搜索策略进行视觉跟踪，从而识别出累积误差较小的轨迹。据此，本文引入了一种新颖的基于多智能体强化学习的波束搜索跟踪策略，称为 BeamTracking。其主要受图像描述生成任务的启发，该任务以图像为输入并利用波束搜索算法生成多样化描述。相应地，我们将跟踪形式化为一个由多个并行决策过程完成的样本选择问题，每个过程旨在每帧挑选出一个样本作为其跟踪结果。每条维护的轨迹关联一个智能体来执行决策并确定应采取何种动作以更新相关信息。当所有帧处理完毕后，我们选择累积分数最高的轨迹作为跟踪结果。在七个主流跟踪基准数据集上的大量实验验证了所提算法的有效性。