用于漂移最小二乘回归的快速梯度下降法及其在老虎机中的应用

在线学习算法通常需要重新计算参数的最小二乘回归估计。我们研究通过使用随机梯度下降 (SGD) 类方案替代经典回归求解器来提高此类算法的计算复杂度。我们表明，即使在存在漂移的情况下，SGD 方案也能有效跟踪回归问题的真实解。这一发现结合 $O(d)$ 的复杂度提升（其中 $d$ 为数据维度），使其在大数据场景下的实施极具吸引力。在回归问题保证强凸性的情况下，尽管最小二乘解存在漂移，我们仍提供了期望值和高概率下的误差界（后者通常用于为更高层算法提供理论保证）。作为此类情况的一个示例，我们证明了 PEGE 线性老虎机算法 [Rusmevichientong and Tsitsiklis 2010] 的 SGD 版本的遗憾性能仅比 PEGE 本身差 $O(\log^4 n)$ 倍。当无法保证回归问题的强凸性时，我们研究了使用自适应正则化。我们对新闻文章推荐应用中自适应正则化的 LinUCB [Li et al. 2010] SGD 版本进行了实证研究，该应用使用了来自 Yahoo! 首页的大规模新闻推荐数据集。实验表明，计算复杂度大幅提升，同时保持了始终如一的低跟踪误差，且点击率 (CTR) 性能达到了 75% 的接近度。