基于结构化记忆层级网络的行人轨迹预测
计算机视觉与模式识别
2018-07-24 v1
摘要
本文提出一种基于多模态数据（视频与雷达）的人体轨迹预测新框架。受近期神经科学发现的启发，我们提出在人体轨迹预测流程中引入结构化记忆组件，以捕捉历史信息从而提升性能。我们引入结构化LSTM单元，用于分层建模记忆内容，保留信息的时空结构，并使我们能够捕捉短期与长期上下文。我们展示了该架构如何扩展以融合来自多模态的显著信息，从而在无需任何监督的情况下自动存储与检索用于决策的重要信息。我们在一个新引入的多模态数据集上评估所提模型的有效性，该数据集包含40,000条行人轨迹，由安装于公共场所的雷达系统与CCTV摄像头系统联合采集。性能亦在公开可用的纽约中央车站行人数据库上进行了评估。在这两种设定下，所提模型均展现出相较现有最优方法更好地预判未来行人运动的能力。
引用
@article{arxiv.1807.08381,
title = {Pedestrian Trajectory Prediction with Structured Memory Hierarchies},
author = {Tharindu Fernando and Simon Denman and Sridha Sridharan and Clinton Fookes},
journal= {arXiv preprint arXiv:1807.08381},
year = {2018}
}
备注
To appear in ECML-PKDD 2018