线性最佳臂辨识中的安全代价
机器学习
2023-09-19 v1 机器学习
摘要
我们引入具有线性反馈的安全最佳臂辨识框架，其中智能体受到某个阶段式安全约束，该约束线性依赖于未知参数向量。智能体必须以保守方式采取行动，以确保在每个回合中以高概率不违反安全约束。利用线性结构保障安全的方法已在后悔最小化中被研究，但据我们所知尚未用于最佳臂辨识。我们提出一种基于间隙的算法，在确保阶段式安全的同时实现有意义的样本复杂度。我们表明，由于附加安全约束引发的强制探索阶段，我们在样本复杂度上付出了额外项的代价。我们提供了实验说明以佐证我们算法的设计。
引用
@article{arxiv.2309.08709,
title = {Price of Safety in Linear Best Arm Identification},
author = {Xuedong Shang and Igor Colin and Merwan Barlier and Hamza Cherkaoui},
journal= {arXiv preprint arXiv:2309.08709},
year = {2023}
}
备注
20 pages, 1 figures