部分可观测蒙特卡洛规划中意外决策的识别：一种基于规则的方法
人工智能
2021-04-29 v2
摘要
部分可观测蒙特卡洛规划（POMCP）是一种强大的在线算法，能够为大型部分可观测马尔可夫决策过程生成近似策略。该方法的在线特性通过避免完整的策略表示来支持可扩展性。然而，缺乏显式表示损害了可解释性。在本工作中，我们提出一种基于可满足性模理论（SMT）的方法，通过检查POMCP策略的轨迹（即算法生成的信念-动作-观测三元组序列）来分析其策略。所提方法探索策略行为的局部性质以识别意外决策。我们提出一个由三个主要步骤组成的轨迹分析迭代过程：i）通过描述信念与动作之间（概率）关系的参数化逻辑公式来定义问题；ii）通过计算使满足子句数最大的逻辑公式参数来生成答案（求解MAX-SMT问题）；iii）分析所生成的逻辑公式及相关决策边界，以针对原始问题识别POMCP做出的意外决策。我们在Tiger（POMDP的标准基准）和移动机器人导航相关的真实世界问题上评估了我们的方法。结果表明，该方法能够利用领域的人类知识，在识别意外决策方面优于最先进的异常检测方法。在我们的测试中，曲线下面积（AUC）最高提升了47%。
引用
@article{arxiv.2012.12732,
title = {Identification of Unexpected Decisions in Partially Observable Monte-Carlo Planning: a Rule-Based Approach},
author = {Giulio Mazzi and Alberto Castellini and Alessandro Farinelli},
journal= {arXiv preprint arXiv:2012.12732},
year = {2021}
}
备注
AAMAS 2021, 3-7 May 2021, London-UK (Virtual)