伴我同行：基于异方差线性_bandit与退出的生命周期最大化

面向生命周期最大化的序贯决策是许多实际应用中的关键问题，例如医疗施治与投资组合选择。在这些应用中，一种“退出（reneging）”现象——即参与者在观察到不可满足的结果后可能脱离后续交互——相当普遍。为解决上述问题，本文提出一种带退出的异方差线性_bandit模型，该模型允许每位参与者拥有不同的“满意度水平”，任何低于该水平的交互结果都会导致该参与者退出，并允许结果方差依赖于上下文。基于此模型，我们设计了名为 HR-UCB 的 UCB 型策略，并证明其遗憾界为 $\mathcal{O}\big(\sqrt{{T}(\log({T}))^{3}}\big)$。最后，我们通过仿真验证了 HR-UCB 的性能。