具有最优遗憾值的在线 PCA
机器学习
2014-05-12 v2
摘要
我们仔细研究了在线主成分分析（PCA）版本，其中学习算法在每次试验中选择一个 k 维子空间，并在下一个实例投影到所选子空间时承受压缩损失。在此设定下，我们分析了两种流行的在线算法：梯度下降（GD）和指数梯度（EG）。我们表明，这两种算法在最坏情况下本质上都是最优的。这令人惊讶，因为已知当实例稀疏时 EG 的表现次优。EG 在 PCA 中的这种不同行为主要归因于此时损失的非负性，这使得 PCA 设定在性质上不同于文献中研究的其他设定。此外，我们表明，当将遗憾界视为损失预算的函数时，EG 保持最优且严格优于 GD。接下来，我们研究了 PCA 设定的扩展，其中允许自然选择稠密实例，即具有有界最大特征值的正定矩阵。我们再次证明，在此设定下 EG 是最优的且严格优于 GD。
引用
@article{arxiv.1306.3895,
title = {On-line PCA with Optimal Regrets},
author = {Jiazhong Nie and Wojciech Kotlowski and Manfred K. Warmuth},
journal= {arXiv preprint arXiv:1306.3895},
year = {2014}
}