通用强化学习的抽象

人工智能(AI)领域致力于创造能在感兴趣领域达到(至少)与人类对手相当表现的人工决策体。不同于传统AI中的智能体，通用人工智能(AGI)中的智能体需在几乎每个感兴趣领域复制人类智能。此外，AGI智能体应能在(几乎)无需进一步更改、重训练或参数微调的情况下实现这一点。真实世界是非平稳、非遍历且非马尔可夫的：我们人类既不能重访过去，最近观测也非充分统计量。然而我们擅长各类复杂任务，其中许多需要长期规划。我们将此成功归因于自然能力——从压倒性感官经验中抽离任务无关信息。我们毫不费力地构建任务特定的心智世界模型。凭借抽象能力，我们能在任务的极紧凑表示上规划而不大损失表现。不仅如此，我们还抽象动作以产生高层计划：动作抽象程度可介于微小肌肉运动到“执行一动作”的心智概念之间。自然可假定，任何在(各合理领域)与人类竞争的AGI智能体亦应具备抽象经验与动作之能力。本论文探究此类抽象之存在性，其助益广泛领域的高效规划，且最重要的是这些抽象带有某种最优性保证。