DiVR：融合多样化 VR 场景上下文以预测人体轨迹
人工智能
2024-11-14 v1 多媒体
摘要
虚拟环境为收集人类行为的详细数据提供了丰富且受控的设置，为在动态场景中预测人体轨迹提供了独特机会。然而，大多数现有方法忽略了这些环境的潜力，转而关注静态上下文而不考虑用户特定因素。利用 CREATTIVE3D 数据集，我们的工作对虚拟现实（VR）场景中记录的轨迹进行建模，涵盖包括带有用户交互的过马路任务和模拟视觉障碍在内的多样化情境。我们提出了多样化上下文 VR 人体运动预测（DiVR），一种基于 Perceiver 架构的跨模态 Transformer，利用异构图卷积网络整合静态和动态场景上下文。我们进行了大量实验，将 DiVR 与包括 MLP、LSTM 以及带有注视和点云上下文的 Transformer 在内的现有架构进行比较。此外，我们还在不同用户、任务和场景上对模型的泛化能力进行了压力测试。结果表明，DiVR 相比其他模型和静态图实现了更高的准确性和适应性。这项工作突出了使用 VR 数据集进行上下文感知人体轨迹建模的优势，在提升元宇宙用户体验方面具有潜在应用。我们的源代码公开可用于 https://gitlab.inria.fr/ffrancog/creattive3d-divr-model。
引用
@article{arxiv.2411.08409,
title = {DiVR: incorporating context from diverse VR scenes for human trajectory prediction},
author = {Franz Franco Gallo and Hui-Yin Wu and Lucile Sassatelli},
journal= {arXiv preprint arXiv:2411.08409},
year = {2024}
}