面向带约束随机连续臂老虎机的修正悲观-乐观学习

本文研究带约束的随机连续臂老虎机（SCBwC）问题，其中我们在连续空间 $\mathcal X$ 上优化黑盒奖励函数 $f(x)$，并满足黑盒约束函数 $g(x)\leq 0$。我们通过高斯过程（GPs）对奖励与约束函数建模，并提出一种修正悲观-乐观学习框架（RPOL），一种基于惩罚的方法，分别对奖励与约束函数融入乐观与悲观 GP _bandit 学习。我们考虑累积约束违反度量 $\sum_{t=1}^T(g(x_t))^{+}$，其严格强于传统长期约束违反 $\sum_{t=1}^Tg(x_t)$。RPOL 中惩罚更新的修正设计与约束函数的悲观学习保证了累积约束违反最小。RPOL 能为 SCBwC 及其变体（如延迟反馈与非平稳环境下）取得次线性后悔与累积约束违反。这些理论结果与其无约束对应版本相匹配。我们的实验证明 RPOL 优于若干现有基线算法。