使用 Oracle 查询与黑盒智能体的共享控制

共享控制问题涉及机器人学习与人类协作。在学习共享控制策略时，智能体间的简短通信通常可以显著减少运行时间并提高系统的准确性。我们将共享控制问题扩展至包含直接查询协作智能体的能力。我们考虑两种类型的潜在查询响应，即 oracle：一种能够为学习者提供其应采取的最佳动作，即使该动作在短期看来可能是错误的；另一种具有仅限于其系统部分的有限知识。鉴于这一额外信息通道，本文进一步提出了三种选择查询时机的启发式方法：基于强化学习的方法、基于效用的方法和基于熵的方法。这些启发式方法旨在降低系统的整体学习成本。在两个环境中的实验结果表明了查询对于学习更优控制策略的益处，以及所提启发式方法之间的权衡。