面向帧率无关的多目标跟踪
计算机视觉与模式识别
2023-11-22 v3
摘要
多目标跟踪（MOT）是最基础的计算机视觉任务之一，服务于各类视频分析应用。尽管近期取得了可喜进展，当前 MOT 研究仍局限于输入流的固定采样帧率。事实上，我们通过实验发现，当输入帧率改变时，所有近期最先进跟踪器的精度均急剧下降。为获得更智能的跟踪方案，我们将研究重心转向帧率无关 MOT（FraMOT）问题，其考量了帧率不敏感性。本文中，我们首次提出一种带周期训练方案（FAPS）的帧率无关 MOT 框架以解决 FraMOT 问题。具体而言，我们提出帧率无关关联模块（FAAM），其推断并编码帧率信息以辅助跨多帧率输入的身份匹配，提升所学模型处理 FraMOT 中复杂运动-表观关系的能力。此外，FraMOT 中训练与推理间的关联鸿沟因那些未纳入训练的后处理步骤在较低帧率场景下造成更大差异而被放大。为此，我们提出周期训练方案（PTS），通过跟踪模式匹配与融合在训练中反映所有后处理步骤。连同上述方法，我们首次尝试以两种不同模式（即已知帧率与未知帧率）建立该 FraMOT 新任务的评估方法，旨在应对更复杂情形。在具挑战性的 MOT17/20 数据集（FraMOT 版本）上的定量实验清楚表明，所提方法能更好地处理不同帧率，从而提升对复杂场景的鲁棒性。
引用
@article{arxiv.2209.11404,
title = {Towards Frame Rate Agnostic Multi-Object Tracking},
author = {Weitao Feng and Lei Bai and Yongqiang Yao and Fengwei Yu and Wanli Ouyang},
journal= {arXiv preprint arXiv:2209.11404},
year = {2023}
}
备注
24 pages; Author version