XR-DT：增强现实增强的数字孪生，通过人机感知模型预测路径积分控制实现安全运动规划
机器人学
2026-03-09 v2 人工智能
人机交互
多智能体系统
系统与控制
系统与控制
摘要
随着移动机器人越来越多地在共享空间中与人类一起运行，确保安全、高效和可解释的人机交互(HRI)已成为一个紧迫的挑战。虽然在人类行为预测方面已投入了大量精力，但关于人类如何感知、解释和信任机器人的推断，以及机器人如何基于预测的人类行为规划安全高效轨迹的关注却十分有限。为了应对这些挑战，本文提出了XR-DT，一个面向移动机器人的增强现实增强数字孪生框架，它连接物理空间和虚拟空间，实现人与机器人之间的双向理解。我们的分层XR-DT架构集成了增强现实、虚拟现实和混合现实层，融合实时传感器数据、Unity游戏引擎中的仿真环境以及通过可穿戴XR设备捕获的人类反馈。在该框架内，我们设计了一种新型的人机感知模型预测路径积分(HA-MPPI)控制模型，这是一种基于MPPI的运动规划器，集成了ATLAS（基于注意力的轨迹学习与预期感知），一种通过XR头戴设备进行的以自我为中心的人体轨迹预测的多模态Transformer模型。广泛的真实世界实验结果证明了准确的人体轨迹预测以及安全高效的机器人导航，验证了HA-MPPI在XR-DT框架内的有效性。通过将人类行为、环境动态和机器人导航嵌入XR-DT框架，我们的系统实现了可解释、可信和自适应的人机交互。
引用
@article{arxiv.2512.05270,
title = {XR-DT: Extended Reality-Enhanced Digital Twin for Safe Motion Planning via Human-Aware Model Predictive Path Integral Control},
author = {Tianyi Wang and Jiseop Byeon and Ahmad Yehia and Yiming Xu and Jihyung Park and Tianyi Zeng and Sikai Chen and Ziran Wang and Junfeng Jiao and Christian Claudel},
journal= {arXiv preprint arXiv:2512.05270},
year = {2026}
}
备注
8 pages, 6 figures, 3 tables