通过寻求帮助来实现不可逆动力学下的安全学习

大多数具有正式遗憾保证的学习算法本质上依赖于尝试所有可能的行为，这在某些错误不可恢复的情形下具有问题。相反，我们允许学习智能体向导求助，并在相似状态之间传递知识。我们表明，这种组合使智能体能够安全且有效地学习。在标准在线学习假设下，我们提供了一个算法，其遗憾值和导师查询次数均随时间范围而次线性增长，这适用于任何马尔可夫决策过程 (MDP)，包括不可逆动力学的 MDP。我们的证明涉及一系列三个简化步骤，可能独具 interests。概念上，我们的结果可能是首个形式化证明：在未知的、无界的、高风险的环境中（无需重置），智能体能够在自身自足的情况下获得高回报。