基于脑电图的多模态人机交互中脑反应分析：调制性参与度

用户在物理人机交互中执行任务时的参与度、认知参与度和动机是运动学习的关键因素，尤其是在以神经可塑性为目标的机器人康复情境中，这些因素尤为重要。然而，传统的机器人康复系统常面临维持用户参与度的挑战，导致治疗结果不可预测。为此，已开发出各种技术，如“按需帮助”控制器，以防止用户懈怠并鼓励积极参与。本文提出了一种新方向，通过一种新型多模态机器人交互来增强用户参与度，通过综合整合视觉、运动、认知和听觉 (语音识别) 任务于单一、综合性活动。为定量评估参与度，比较了本多模态方案与传统单一运动方案之间的多种脑电图 (EEG) 生物标志物。15 名健康成年受试者完成了每种任务类型的 100 次试验。我们的发现表明，脑电图生物标志物，特别是相对 alpha 功率，在多模态任务中相对于单一运动任务显示出统计学上的显著性提高。此外，尽管在单一运动任务中参与度随时间而下降，但多模态方案能够维持持续的参与度，表明用户可以 longer 进行治疗。我们的观察表明，所提出的多模态方法能够有效增强用户参与度，这对于改善治疗结果至关重要。这也是首次以客观神经反应为依据，突出综合性机器人干预结合运动、认知和听觉功能在健康受试者中的益处。