融合多视角视频信息的骑行者轨迹预测
计算机视觉与模式识别
2021-07-01 v1 机器学习
摘要
本文提出一种新方法，将安装在城市交叉路口的广角立体相机系统所获取视频数据中的视觉线索融入骑行者轨迹的预测中。我们使用三维卷积神经网络（3D-ConvNet）从图像与光流（OF）序列中提取特征，并将其与从骑行者历史轨迹中提取的特征相结合，以预测骑行者未来的位置。通过利用额外信息，与仅基于历史轨迹的方法相比，我们在测试数据集上将位置精度提高了约 7.5%，针对特定运动类型最高可提高 22%。此外，我们比较了将图像序列与将 OF 序列作为额外信息的使用，表明仅使用 OF 即可显著提升位置精度。通过使用在繁忙公共交叉路口记录的真实世界数据集训练和测试我们的方法并评估其运行时间，我们展示了其在真实交通场景中的适用性。我们的代码及部分数据集已公开可用。
引用
@article{arxiv.2106.15991,
title = {Cyclist Trajectory Forecasts by Incorporation of Multi-View Video Information},
author = {Stefan Zernetsch and Oliver Trupp and Viktor Kress and Konrad Doll and Bernhard Sick},
journal= {arXiv preprint arXiv:2106.15991},
year = {2021}
}