E2H：基于非侵入性神经信号驱动的人oid全身控制框架
机器人学
2024-10-15 v3 人机交互
摘要
近期的人oid 机器人进步，包括层次化强化学习控制的集成以及大语言模型规划的运用，显著提升了机器人执行复杂任务的能力。然而与高度发达的人形机器人相比，涉及的人类因素仍鲜有探索。直接利用脑电信号控制人形机器人已在诸如《Pacific Rim》和《Gundam》等科幻小说中出现。本文提出 E2H（EEG-to-Humanoid），一种创新框架，首次利用高频非侵入性神经信号控制人形机器人。由于非侵入信号在解码精确空间轨迹方面的质量较低，我们采用创新的两阶段结构：1）将神经信号（EEG）解码为语义运动关键词；2）利用由大语言模型辅助的运动生成与精确运动模仿控制策略实现人形机器人控制。直接以脑波指令驱动机器人提供了一种新的人机协作方式，尤其适用于语音受损、太空探索或水下探险等 verbal 命令不可行的场景，展现出巨大的潜力。E2H 为未来的人机交互指明了前景，拥有巨大的发展前景。
引用
@article{arxiv.2410.02141,
title = {E2H: A Two-Stage Non-Invasive Neural Signal Driven Humanoid Robotic Whole-Body Control Framework},
author = {Yiqun Duan and Qiang Zhang and Jinzhao Zhou and Jingkai Sun and Xiaowei Jiang and Jiahang Cao and Jiaxu Wang and Yiqian Yang and Wen Zhao and Gang Han and Yijie Guo and Chin-Teng Lin},
journal= {arXiv preprint arXiv:2410.02141},
year = {2024}
}