HuBar：基于 AR 指导系统中 fNIRS 数据的可视化行为分析工具

智能增强现实 (AR) 助手的概念具有广泛的应用前景，潜在应用领域包括医疗、军事和机械等。这种助手必须能够感知环境和动作，推理环境状态与给定任务之间的关系，并与任务执行者无缝交互。这些交互通常涉及配备传感器的 AR 耳机，能够捕捉视频、音频和触觉反馈。以往的工作通过可视化传感器数据流与助手感知和推理模型输出的关联来促进智能 AR 助手的开发。然而，现有可视化分析系统不关注用户建模，也不包含生物识别数据，只能一次性可视化单个执行者的一个任务会话。此外，它们通常假设任务从一个步骤到下一个步骤是线性的。我们提出了一个允许用户比较多个任务会话中性能的可视化分析系统，专注于非线性任务，其中不同的步骤序列可导致成功。在本研究中，我们设计了可视化方法，通过功能近红外光谱 (fNIRS) 数据作为感知、注意力和记忆的代理，以及相应的运动数据（加速度、角速度和视线）。我们提炼出这些见解到嵌入表示中，使用户能够轻松选择行为相似的会话组。我们提供了两个案例研究，展示了如何使用在直升机副驾驶训练任务期间收集的数据来获取有关任务性能的见解。最后，我们通过对五位领域专家进行深度思考大声实验来评估了我们的方法。