面向通用基于机器学习的估计器的 UCB 多臂老虎机算法

我们提出了 ML-UCB，这是一个通用上置置信界算法，将任意机器学习模型集成到多臂老虎机框架中。在将复杂的机器学习模型用于顺序决策时，一个根本性挑战是缺乏所需的可计算浓度不等式，以进行原则化的探索。我们通过直接建模底层估计器的学习曲线行为来克服这一限制。具体而言，假设均方误差随训练样本数量的幂律下降，我们推导了一个通用浓度不等式，并证明了 ML-UCB 能够实现亚线性报酬。该框架使能够原则化地集成任何其学习曲线可以经验性地表征的机器学习模型，消除对模型特定理论分析的需求。我们通过在协同过滤推荐系统上的实验验证了该方法，使用合成数据模拟简化的双塔模型，显示相较于 LinUCB 在多个方面实现了显著的改进。