可实现计算的上下文老虎机算法超越可实现性假设

可实现计算的上下文老虎机算法通常依赖于可实现性假设——即真实的期望奖励模型属于某个已知类，例如线性函数。在本工作中，我们提出一种对可实现性假设不敏感且计算上可归约为每一轮求解一个约束回归问题的老虎机算法。当可实现性不成立时，我们的算法在 regret（累积遗憾）上保证了基于可实现性的算法在可实现性成立时所达成的相同保证，至多相差一个刻画误设定误差的附加项。该额外项正比于T乘以该类中最优模型与真实模型间均方误差的某个函数，其中T为总时间步数。我们的工作揭示了可实现计算上下文老虎机中的偏差-方差权衡。这一权衡未被假设可实现性的算法所捕捉，因为在该假设下类中存在达到零偏差的估计量。