一种使用 Answer Set Programming 在线构建 Markov Decision Process 状态集的方法

以不可预测方式变化的非平稳环境，对于在序贯决策问题中寻找最优策略的智能体而言是一项挑战。本文提出了一种将 Markov Decision Processes (MDP) 与 Answer Set Programming (ASP) 相结合的方法，命名为 Online ASP for MDP (oASP(MDP))，该方法能够在智能体与变化环境交互时构建领域状态集。oASP(MDP) 利用表示智能体观察到的领域变化的规则，更新先前通过 Reinforcement Learning (RL) 学习到的策略。这些规则表示一组领域约束，作为 ASP 程序进行处理以缩小搜索空间。结果表明，oASP(MDP) 能够在不干扰动作价值函数近似过程的情况下，为非平稳领域中的问题找到解。