利用离线强化学习引导自适应人机接口的自举

在存在噪声、高维指令信号（例如来自脑机接口）的情况下，自适应接口可帮助用户执行机器人遥操作等序贯决策任务。人在回路机器学习的最新进展使此类系统能够通过与用户交互而改进，但在实践中往往受限于可从单个用户收集的数据量。本文提出一种强化学习算法，通过结合离线预训练与在线微调，将原始指令信号映射为动作来训练接口，从而解决该问题。为应对噪声指令信号与稀疏奖励带来的挑战，我们开发了一种新颖方法，用于表征并推断用户针对给定轨迹的长期意图。我们主要通过一项用户研究来评估该方法辅助仅能通过噪声、高维输入通道进行通信的用户的能力：12名参与者通过眼动注视调节来自网络摄像头的128维指令信号，完成模拟导航任务。结果表明，通过学习对用户指令信号去噪并提供共享自主辅助，我们的方法比基线方向性接口能更频繁地实现成功的目标导航。我们进一步在带有眼动控制的模拟Sawyer推动任务，以及带有模拟用户指令的Lunar Lander游戏中进行评估，发现该方法在这些领域同样优于基线接口。基于模拟用户指令的大量消融实验从经验上论证了我们方法的各个组成部分。