随机最短路径的隐式有限时域近似与高效最优算法
机器学习
2021-11-11 v2 机器学习
摘要
我们引入一个用于在随机最短路径（SSP）模型中开发悔最小化算法的通用模板，只要确保特定性质，该模板即可达到极小极大最优悔。我们分析的关键在于一项称为隐式有限时域近似的新技术，该技术仅于分析中以有限时域对应模型近似 SSP 模型，而无需显式实现。利用该模板，我们开发了两种新算法：第一种无模型（据我们所知为文献中首个），且在严格正代价下极小极大最优；第二种基于模型，即便存在零代价状态-动作对也极小极大最优，匹配 [Tarbouriech et al., 2021b] 的最佳现有结果。重要的是，两种算法均支持高度稀疏更新，使其计算效率优于所有现有算法。此外，二者均可做到完全无参数。
引用
@article{arxiv.2106.08377,
title = {Implicit Finite-Horizon Approximation and Efficient Optimal Algorithms for Stochastic Shortest Path},
author = {Liyu Chen and Mehdi Jafarnia-Jahromi and Rahul Jain and Haipeng Luo},
journal= {arXiv preprint arXiv:2106.08377},
year = {2021}
}