在线PCA的非凸在线梯度上升的遗憾最小化研究

本文关注遗憾最小化框架下的在线主成分分析（Online Principal Component Analysis, PCA）问题。针对该问题，全对抗设定下所有现有的遗憾最小化算法均基于半正定凸松弛，因此每次迭代需要二次内存和奇异值分解（SVD）计算（薄或全），即每次迭代至少需二次运行时间。这与该问题对应的随机独立同分布（i.i.d.）变体形成鲜明对比，后者近来被广泛研究，并存在非常高效的梯度上升算法，直接在问题的自然非凸形式上工作，因此每次迭代仅需线性内存和线性运行时间。这引出了一个问题：非凸在线梯度上升算法能否被证明在在线对抗设定中最小化遗憾？本文朝回答该问题迈出了一步。我们引入了“对抗扰动尖峰协方差模型”，其中假设每个数据点服从具有非零谱隙的协方差矩阵的固定随机分布，但随后被某个对抗向量扰动。该模型是对一个被充分研究的标准随机设定的自然扩展，允许数据中产生非平稳（对抗）模式，因此可作为真实世界数据流显著更好的近似。我们表明，在有趣的参数区间内，当非凸在线梯度上升算法以“热启动”向量初始化时，它能以高概率可证明地最小化遗憾。我们进一步讨论了计算此类“热启动”向量的可能性，以及使用正则化以获得快速遗憾率。我们的理论发现得到了合成与真实世界数据上的实证实验支持。