PhyOT：监控摄像头中物理信息驱动的目标跟踪

尽管深度学习在计算机视觉领域取得了巨大成功，但光照变化、背景杂乱或遮挡等真实世界运行条件阻碍了其在多项任务上的准确性。先前的工作表明，结合神经网络与启发式算法的混合模型在分类或跟踪等多项计算机视觉任务中可以优于纯深度学习方法。我们考虑了目标跟踪的情况，并评估了一种混合模型，该模型将深度神经网络概念化为卡尔曼滤波设置中的“传感器”，其中以牛顿运动定律形式的先验知识被用于融合传感器观测并执行改进的估计。我们的实验结合了三个分别执行位置、间接速度和加速度估计的神经网络，并在两个基准数据集上评估了该方案：一个我们收集并标注的仓库安防摄像头数据集和一个交通摄像头开放数据集。结果表明，我们的 PhyOT 能够在最先进的深度神经网络失效的极端条件下跟踪目标，而其在一般情况下的性能并未较现有深度学习方法显著下降。结果还表明，我们的 PhyOT 组件具有可泛化性和可迁移性。