用于轨迹预测的 Transformer 网络
计算机视觉与模式识别
2020-10-22 v3
摘要
近期在行人运动预测方面的大部分成功基于 LSTM 模型，且几乎所有最新进展都是通过建模人与人之间的社会交互以及人与场景的交互而取得的。我们质疑 LSTM 模型的使用，并提出新颖地使用 Transformer 网络进行轨迹预测。这是从 LSTM 的顺序逐步处理到 Transformer 仅基于注意力的记忆机制的根本性转变。具体而言，我们同时考虑了原始 Transformer 网络(TF)和更大的双向 Transformer (BERT)——后者在所有自然语言处理任务上均为最先进水平。我们提出的 Transformer 预测场景中个体的轨迹。这些是“简单”模型，因为每个人被单独建模，没有任何复杂的人-人及场景交互项。特别地，不带任何额外技巧的 TF 模型在最大且最具挑战性的 TrajNet 轨迹预测基准上取得了最佳分数。此外，其预测多种合理未来轨迹的扩展在 ETH + UCY 的 5 个数据集上与更具工程化技巧的方法表现相当。最后，我们展示 Transformer 可以处理缺失观测，这在真实传感器数据中可能出现。代码见 https://github.com/FGiuliari/Trajectory-Transformer。
引用
@article{arxiv.2003.08111,
title = {Transformer Networks for Trajectory Forecasting},
author = {Francesco Giuliari and Irtiza Hasan and Marco Cristani and Fabio Galasso},
journal= {arXiv preprint arXiv:2003.08111},
year = {2020}
}
备注
To appear in International Conference on Pattern Recognition (ICPR) 2020