具有上下文信息的无监督序列选择在线算法

在本文中，我们研究上下文无监督序列选择（USS），这是随机上下文赌博机问题的一个新变体，其中臂的损失无法从观测反馈中推断。在我们的设定中，臂具有固定成本且有序排列，形成级联。每轮给出一个上下文，学习器按顺序选择臂直至某一深度。在某一臂处停止所产生的总成本为所选臂的固定成本之和加上该臂相关的随机损失。学习器的目标是学习一个将上下文映射到臂的决策规则，以最小化总期望损失。该问题具有挑战性，因为我们面临无监督设定，总损失无法估计。显然，仅当最优臂可从问题结构（显式或隐式）推断时学习才可行。我们观察到当问题实例满足所谓的“上下文弱优势”（CWD）性质时，学习仍有可能。在CWD下，我们提出了一种针对上下文USS问题的算法，并证明其具有次线性后悔。在合成与真实数据集上的实验验证了我们的算法。