嵌套老虎机

在许多在线决策过程中，优化智能体需要在大量具有内在相似性的备选方案之间进行选择；这些相似性进而意味着紧密相关的损失，可能会混淆标准的离散选择模型和老虎机算法。我们在嵌套老虎机的背景下研究这一问题，这是一类对抗性多臂老虎机问题，其中学习者在面对大量具有嵌入式（非组合）相似性层次结构的不同备选方案时，寻求最小化其遗憾。在此设定下，基于指数权重蓝图的最优算法（如 Hedge、EXP3 及其变体）可能会产生显著的遗憾，因为它们倾向于花费过多时间探索具有相似次优代价的不相关备选方案。为了解决这一问题，我们提出了一种嵌套指数权重（NEW）算法，该算法基于嵌套的、逐步的选择方法，对学习者的备选方案集进行分层探索。通过这样做，我们获得了学习者遗憾的一系列紧界，表明备选方案之间具有高度相似性的在线学习问题可以被高效解决，而不会出现红巴士/蓝巴士悖论。