基于混合特征融合的行人停止与起步预测

预测行人的未来运动对于自动驾驶系统在城市区域安全行驶至关重要。然而，现有的预测算法往往过度依赖过去观测到的轨迹，并倾向于在突然的动态变化（例如行人突然开始或停止行走）时失效。我们认为，预测这些高度非线性的转变应成为提高运动预测算法鲁棒性的核心组成部分。在本文中，我们引入了行人停止与起步预测这一新任务。考虑到缺乏合适的现有数据集，我们发布了TRANS，一个用于明确研究城市交通中行人停止与起步行为的基准。我们从几个标注了行人行走运动的现有数据集构建该基准，以获得多样的场景和行为。我们还提出了一种新颖的混合模型，利用来自多种模态（包括视频序列和高层属性）的行人特定特征和场景特征，并逐步融合它们以整合多层次上下文。我们在TRANS上评估了我们的模型和若干基线，并为社区在行人停止与起步预测上的研究设立了新基准。