前馈神经网络在无外观特征目标跟踪中的挑战

几乎所有基于人工神经网络的目标跟踪模型都依赖于从“骨干”架构中提取的外观特征，该架构专为物体识别设计。事实上，通过引入能够更好地区分物体外观的骨干网络，目标跟踪取得了显著进展。然而，大量的神经生理学和心理物理学证据表明，生物视觉系统同时利用外观和运动特征来跟踪物体。本文中，我们引入了受认知心理学启发的视觉挑战任务$\textit{PathTracker}$，该任务测试观察者仅通过运动学习跟踪物体的能力。我们发现，当生成的场景中引入杂波或物体移动较长距离时，标准的3D卷积深度网络模型难以解决此任务。这一挑战揭示了追踪物体运动路径是前馈神经网络的盲点。我们期望来自生物视觉的无外观特征目标跟踪策略能够启发解决深度神经网络这些失败的方法。