缺乏耐心的主体可利用有限乐观以最小化遗憾
计算机科学与博弈论
2018-11-20 v1 人工智能
形式语言与自动机理论
计算机科学中的逻辑
摘要
折扣和博弈为强化学习的研究提供了形式化模型，其中主体受诱使尽早获取奖励，因为后续奖励会被折扣。当主体与环境交互时，她可能对自己的行为感到遗憾，意识到鉴于环境的行为先前的选择是非最优的。本文的主要贡献是一个计算给定博弈最小可能遗憾的PSPACE算法。为此，展示了若干具有独立意义的结论。（1）我们确定了一类遗憾最小化和可容许策略，其先假设环境协作，再假设其对抗——切换的精确时机在此至关重要。（2）忽略数值分析的计算代价，我们提供了一个NP算法，用于检查给定时间切换策略所蕴含的遗憾是否超过给定值。（3）我们证明确定某策略是否最小化遗憾可在PSPACE中判定。
引用
@article{arxiv.1811.07146,
title = {The Impatient May Use Limited Optimism to Minimize Regret},
author = {Michaël Cadilhac and Guillermo A. Pérez and Marie van den Bogaard},
journal= {arXiv preprint arXiv:1811.07146},
year = {2018}
}