风险厌恶 POMDP 的化简及其性能保证
人工智能
2024-06-11 v2
摘要
在不确定性部分可观测域中的风险厌恶决策是 AI 中的基本问题，也是可靠自主代理的关键。在本案例中，该问题使用部分可观测马尔可夫决策过程 (POMDP) 模型化，其中价值函数为返回的条件价值风险 (CVaR)。计算 POMDP 的最优解在一般情况下是计算不可行的。在本工作中，我们发展了一个简化框架，以加快价值函数的评估速度，同时提供性能保证。我们将简化视为一种计算更便宜的 belief-MDP 转换模型，这可能对应于更便宜的观察或转换模型。我们的贡献包括允许通过假设其累积分布之间存在界限来界定 CVaR 的一般界限的界限。随后我们推导了 POMDP 情况下的 CVaR 价值函数的界限，并展示了如何使用计算更便宜的 belief-MDP 转换模型来界定价值函数，而无需在实时访问计算昂贵的模型。然后，我们提供了估计界限的理论性能保证。我们的结果适用于 belief-MDP 转换模型的通用简化，支持同时简化观察和状态转换模型。
关键词
引用
@article{arxiv.2406.03000,
title = {Simplification of Risk Averse POMDPs with Performance Guarantees},
author = {Yaacov Pariente and Vadim Indelman},
journal= {arXiv preprint arXiv:2406.03000},
year = {2024}
}