合成数据在多目标跟踪关联知识学习中可与真实数据媲美
计算机视觉与模式识别
2021-10-26 v3
摘要
关联旨在将视频序列中同一身份的检测框相链接，是多目标跟踪（MOT）的核心组件。为训练关联模块（如参数化网络），通常使用真实视频数据。然而，在连续视频帧中标注行人轨迹代价高昂，且此类真实数据由于灵活性不足，在评估系统随跟踪场景变化的表现时机会有限。本文研究 3D 合成数据能否替代真实世界视频用于关联训练。具体而言，我们引入一个名为 MOTX 的大规模合成数据引擎，其中相机与物体的运动特性被手动配置为与真实世界数据集相似。我们表明，与真实数据相比，从合成数据获得的关联知识无需域适应技术即可在真实世界测试集上取得非常相近的性能。这一引人注目的观察归因于两方面因素。首要的是，3D 引擎能良好模拟相机运动、相机视角与物体运动等运动因素，使模拟视频可为关联模块提供有效的运动特征。其次，实验结果表明外观域差距几乎不损害关联知识的学习。此外，MOTX 强大的定制能力使我们能定量评估运动因素对 MOT 的影响，从而为学界带来新见解。
引用
@article{arxiv.2106.16100,
title = {Synthetic Data Are as Good as the Real for Association Knowledge Learning in Multi-object Tracking},
author = {Yuchi Liu and Zhongdao Wang and Xiangxin Zhou and Liang Zheng},
journal= {arXiv preprint arXiv:2106.16100},
year = {2021}
}