用于在线心理负荷建模的虚拟现实仿真流水线

无缝的人机交互（HRI）与人机（HR）协作团队严重依赖于准确且及时的人类心理负荷（MW）模型。认知负荷理论（CLT）表明，具代表性的物理环境产生具代表性的心理过程；物理环境保真度对应于改进的建模精度。虚拟现实（VR）系统提供能够复现复杂场景（尤其是那些与高风险、高压力场景相关的）的沉浸式环境。被动生物信号建模作为一种非侵入式 MW 建模方法展现出前景。然而，VR 系统很少包含多模态心理生理反馈，或利用生物信号数据进行在线 MW 建模。在此，我们受 NASA 多属性任务电池 II（MATB-II）任务架构启发，开发了一种新颖的 VR 仿真流水线，能够在模拟危险探索环境中同步采集客观绩效、主观绩效与被动人类生物信号。我们的系统设计通过机器人操作系统（ROS）提取并发布生物特征，促进基于实时心理生理学的 MW 模型集成到完整的端到端系统中。能够在线评估 MW 的 VR 仿真流水线可通过对操作员 MW 做出自适应行为改变，成为推进 HR 系统与 VR 体验的基础。