初次接触：基于互信息最大化的无监督人机协同适应

当不存在先验映射、无法向用户索取动作标签或奖励反馈形式的监督、且我们对用户试图完成的任务没有先验知识时，我们如何训练辅助性人机接口（例如基于肌电图的肢体假肢）以将用户的原始指令信号转换为机器人或计算机的动作？本文的核心思想是：无论任务如何，当接口更直观时，用户的指令噪声更小。我们将这一思想形式化为优化接口的一种完全无监督目标：用户指令信号与环境中所诱导的状态转移之间的互信息。为评估该互信息分数能否区分有效与无效接口，我们对 540K 个用户操作各类键盘与眼动注视接口进行打字、控制模拟机器人和玩视频游戏的样本进行了观察性研究。结果显示，我们的互信息分数在多个领域中可预测真实任务完成指标，平均斯皮尔曼秩相关系数为 0.43。除对现有接口进行离线评估外，我们使用无监督目标从零开始学习接口：随机初始化接口，让用户尝试使用该接口完成其期望任务，测量互信息分数，并通过强化学习更新接口以最大化互信息。我们通过一项有 12 名参与者使用受扰动鼠标完成 2D 光标控制任务的用户研究，以及一名用户使用手势玩 Lunar Lander 游戏的实验来评估我们的方法。结果显示，我们可在 30 分钟内从零开始学习接口，无需任何用户监督或任务先验知识。