基于人类 EEG 与 TD3 深度强化学习共享自主性的多智能体副驾驶方法
人机交互
2023-12-25 v1 机器学习
信号处理
神经元与认知
摘要
深度强化学习 (RL) 算法使得开发能够与环境交互的全自主智能体成为可能。脑机接口 (BCI) 系统能够解读人类的隐性脑信号，而不受显式环境的影响。在本研究中，我们整合了深度 RL 和 BCI，通过考虑环境因素来改善自主系统中有益的人类干预以及脑活动解码的性能。允许在从人类智能体脑电图 (EEG) 解码的动作命令与为给定环境生成的双延迟 DDPG (TD3) 智能体动作之间进行共享自主性。我们提出的带有全阻塞器的副驾驶控制方案 (Co-FB) 显著优于单独的 EEG (EEG-NB) 或 TD3 控制。与 EEG-NB 模型相比，Co-FB 模型实现了更高的目标接近得分、更低的失败率以及更低的人类工作负荷。与 TD3 模型相比，Co-FB 控制方案具有更高的不可见目标得分和允许的人类干预水平。我们还提出了差异 d 指数，以评估相互矛盾的智能体决策对副驾驶模型控制精度和权限的影响。我们发现 TD3 智能体的控制权限与人类 EEG 分类性能的提升之间存在显著相关性（相对于 d 指数）。我们还观察到，当 BCI 解码不是最优时，将控制权限转移给 TD3 智能体可以提高性能。这些发现表明，副驾驶系统可以有效处理复杂环境，并且通过考虑环境因素可以提高 BCI 性能。未来的工作应采用连续动作空间和不同的多智能体方法来评估副驾驶性能。
引用
@article{arxiv.2312.14458,
title = {Multiagent Copilot Approach for Shared Autonomy between Human EEG and TD3 Deep Reinforcement Learning},
author = {Chun-Ren Phang and Akimasa Hirata},
journal= {arXiv preprint arXiv:2312.14458},
year = {2023}
}
备注
14 pages, 6 figures