单生涯学习：从无导师探索中推断随机环境符号化世界模型

符号化世界建模需要推断并表示环境的转移动力学作为可执行程序。以往工作主要集中在结构确定性环境中，这些环境具有丰富的交互数据、简单机制和人类指导。我们针对更真实且具有挑战性的设定进行了研究，即在复杂的随机环境中，仅通过一次探索且无需人类指导地学习。我们引入OneLife框架，通过概率编程框架中的条件激活程序化法则来建模世界动力学。每个法则通过 preconditions-effects 结构工作，在相关世界状态下激活。这创建了一个动态计算图，该图仅通过相关法则进行推断和优化，从而避免在复杂、层次化状态下所有法则都贡献于预测的情况，使即使在稀疏规则激活下也能学习随机动力学。为了在这些严苛约束下评估我们的方案，我们引入了新的评估协议，测量(a)状态排序，即区分合理未来状态与不合理未来状态的能力；以及(b)状态保真度，即生成接近现实的未来状态的能力。我们开发并评估了该框架在Crafter-OO上的表现，该环境是Crafter环境的重新实现，暴露了结构化的对象导向符号状态和仅作用于该状态的纯粹转移函数。OneLife能够从稀疏的、无导师的交互中成功学习关键环境动力学，在测试的23个情景中超过强基准方法。我们还测试了OneLife的规划能力，仿真的rollout成功地识别出优越的策略。我们的工作为从无知且复杂环境中自主构建程序化世界模型奠定了基础。