好奇的因果探索智能体学习元因果世界模型

在构建世界模型时，一个常见的假设是环境具有单一、不变的底层因果规则，例如将牛顿定律应用于每种情况。实际上，看似漂移的因果机制往往是固定底层机制通过狭窄观察窗口的体现。这带来了一个问题：在构建世界模型时，即使是策略或环境状态的细微变化，也可能改变所观察到的因果机制。在这项工作中，我们引入了**元因果图**作为世界模型，这是一种最小化的统一表示，能够高效地编码控制因果结构在不同潜在世界状态间如何转变的变换规则。单个元因果图由多个因果子图组成，每个子图由潜在状态空间中的元状态触发。基于这种表示，我们引入了一个**因果探索智能体**，其目标是：(1) 识别触发每个子图的元状态，(2) 通过智能体好奇心驱动的干预策略发现相应的因果关系，(3) 通过持续的好奇心驱动探索和智能体经验迭代地精炼元因果图。在合成任务和具有挑战性的机器人手臂操作任务上的实验表明，我们的方法能够稳健地捕捉因果动态的变化，并有效地泛化到以前未见过的情境中。