面向用户对齐部分可观测马尔可夫决策过程的信念状态查询策略
人工智能
2025-04-16 v2
摘要
在现实世界环境中进行规划通常需要处理部分可观测性，同时与用户需求保持一致。我们提出了一种新颖的框架，用于在部分可观测设置中表达用户对智能体行为的约束和偏好，该框架在面向目标的部分可观测马尔可夫决策过程（gPOMDP）中采用参数化信念状态查询（BSQ）策略。我们首次对此类约束进行了形式化分析，并证明，虽然参数化BSQ策略的期望代价函数关于其参数不是凸的，但它是分段常数，并且对于有限时域产生一个有限的隐式离散参数搜索空间。这一理论结果导致了新颖的算法，能够优化gPOMDP智能体行为并保证用户对齐。分析证明，我们的算法在极限情况下收敛到最优的用户对齐行为。实验结果表明，参数化BSQ策略为部分可观测设置中的用户对齐规划提供了一种计算上可行的方法。
引用
@article{arxiv.2405.15907,
title = {Belief-State Query Policies for User-Aligned POMDPs},
author = {Daniel Bramblett and Siddharth Srivastava},
journal= {arXiv preprint arXiv:2405.15907},
year = {2025}
}