基于眼球注视信息和情境感知的共享空间中行人轨迹预测：虚拟现实研究
机器学习
2026-05-25 v2
摘要
为此，我们在虚拟现实环境中进行实验，使行人在不同接近角度（45°、90°、135°）和连续交通条件（单辙梅车、两辙梅车且间隔为 3 或 5 秒）下与自动梅车进行互动，收集同步的运动、眼球注视和头部姿态数据。为调查眼球注视在何处、以何种条件下、以何种形式对行人运动预测具有信息价值，我们开发了一个多模态预测模型，通过模态特定编码器对这些信号进行融合，并系统性地对比 gaze 表示与头部姿态和情境上下文之间的消融实验。我们报告了三个主要结果：首先，眼球注视的预测价值与接近角度有关且紧密地与眼-头-身体协调性相耦合：在急角情况下，行人会主动重新定位注视以获取梅车信息，此时眼球注视携带的信息超出头部姿态alone 所能提供的。其次，连续的眼球注视姿态优于离散的语义固定标签，其中最佳编码帧（全局或身体相对）取决于眼球注视是否单独使用或与上下文联合使用。第三，眼球注视和情境上下文提供互补的预测信息：两者的组合将最终位移误差（FDE）降低了 8.47%，接近其各自贡献之和。总体而言，这些发现凸显了将人类感知信号纳入行人行为预测中的价值，并激励了以人为中心的方式来补充车辆中心的建模方法。我们的代码已公开于 https://github.com/danyayay/GazeX.git。
引用
@article{arxiv.2603.19812,
title = {Eye Gaze-Informed and Context-Aware Pedestrian Trajectory Prediction in Shared Spaces with Automated Shuttles: A Virtual Reality Study},
author = {Danya Li and Yan Feng and Rico Krueger},
journal= {arXiv preprint arXiv:2603.19812},
year = {2026}
}