LG-Traj:大语言模型引导的行人轨迹预测
计算机视觉与模式识别
2024-03-14 v1 人工智能
摘要
精确的行人轨迹预测对多种应用至关重要,它需要深刻理解动态环境中的行人运动模式。然而,现有的行人轨迹预测方法在充分利用这些运动模式方面仍有待进一步探索。本文研究了利用大语言模型(Large Language Models, LLMs)通过引入运动线索来改进行人轨迹预测任务的可能性。我们提出了LG-Traj,这是一种新颖的方法,它结合LLMs来生成存在于行人过去/已观测轨迹中的运动线索。我们的方法还通过使用高斯混合模型对训练数据的未来轨迹进行聚类,来纳入行人未来轨迹中的运动线索。这些运动线索与行人坐标一起,有助于更好地理解底层表征。此外,我们利用奇异值分解来增强已观测轨迹,将其纳入模型学习过程以进一步增强表征学习。我们的方法采用基于Transformer的架构,包含一个用于建模运动模式的运动编码器和一个用于捕捉行人之间社交互动的社交解码器。我们在流行的行人轨迹预测基准数据集ETH-UCY和SDD上展示了我们方法的有效性,并进行了多项消融实验来验证我们的方法。
引用
@article{arxiv.2403.08032,
title = {LG-Traj: LLM Guided Pedestrian Trajectory Prediction},
author = {Pranav Singh Chib and Pravendra Singh},
journal= {arXiv preprint arXiv:2403.08032},
year = {2024}
}
备注
Under Review