RELEAF：一种学习与利用相关性的算法

推荐系统、医疗诊断、网络安全等需要实时的持续学习与决策。这些——以及许多其他——代表了大数据所带来的机遇与困难的典型例子：可用信息常来自多种源且具有多样特征，因此从所有源学习可能有价值，但整合所学知识受限于维数灾难。本文开发并分析了能够在避免维数灾难的同时实现高效学习与决策的算法。我们将特定时刻学习者/决策者可用的信息形式化为上下文向量，学习者在采取动作时应考虑该向量。通常上下文向量维度非常高，但在许多设定中，最相关信息仅嵌入少数相关维度中。若这些相关维度事先已知，问题将很简单——但实际并非如此。而且，不同动作的相关维度可能不同。我们的算法学习每个动作的相关维度，并基于所学做出决策。形式上，我们在上下文多臂老虎机结构上通过添加并利用相关性关系构建模型。我们证明了算法的一般后悔界，其时间阶仅依赖于所有动作中相关维度的最大数量；在相关性关系为单值（函数）的特殊情况下，该界简化为$\tilde{O}(T^{2(\sqrt{2}-1)})$；若无相关性关系，已知最优的上下文老虎机算法达到后悔$\tilde{O}(T^{(D+1)/(D+2)})$，其中$D$为上下文向量的全维度。