世界更大！基于计算嵌入视角的大世界假设

持续学习往往以称为“大世界假设”的思想来驱动，即“世界比智能体更大”。近期的方法通过显式约束智能体相对于环境来捕捉这一思想。这些约束导致解决方案不断适应以最大化利用其有限容量，而非收敛于固定解。然而，显式约束往往不够自然、难以融入，且可能限制规模化提升智能体容量的效果。在本文中，我们刻画了一种情境， wherein an agent regardless of its capacity is constrained by being embedded in the environment. 具体而言，我们引入一种计算嵌入视角，将嵌入式智能体表示为在通用（形式）计算机中模拟的自动机。这种自动机始终受到约束；我们证明它等价于与部分可观测马尔可夫决策过程 (MDP) 交互，其状态空间为可数无限。我们提出一种目标函数，称为互动性 (interactivity)，衡量智能体通过学习新预测持续调整其行为的能力。我们然后开发了一种基于模型的强化学习算法，用于寻求互动性，我们用其构建了一个合成问题来评估持续学习能力。我们的结果表明，深度非线性网络难以维持互动性，而深度线性网络在容量增加时能保持更高的互动性。