学习用于外生过程规划的紧凑模型

我们处理MDP的近似模型最小化问题，其中状态被划分为内生的和（大得多的）外生分量。外生状态变量是指其动力学独立于智能体动作的变量。我们形式化了掩码学习问题，其中智能体必须在规划时选择要在推理中考虑的外生状态变量子集；在此约化状态空间中做规划通常比在完整模型中规划高效得多。然后我们探究该设定下起作用的各类值函数，并描述约化模型的策略对完整MDP最优的条件。该分析引导我们得到一个可处理的近似算法，其借用了外生状态变量间互信息的概念。我们在模拟机器人操纵领域中验证了我们的方法，其中机器人被置于繁忙环境中，有许多其他智能体也在与物体交互。访问 http://tinyurl.com/chitnis-exogenous 观看补充视频。