通过随机矩阵扰动进行谱平滑
机器学习
2015-12-15 v2
摘要
我们考虑利用随机矩阵理论中常用的扰动对矩阵的谱函数进行随机平滑。我们证明，当使用酉不变扰动分布进行平滑时，谱函数仍保持谱性质。随后，我们利用高斯正交系综（GOE）推导了最大特征值函数的最新平滑界。平滑最大特征值函数对于半定优化和在线学习中的应用至关重要。作为我们 GOE 平滑结果的直接推论，我们针对在线方差最小化问题，使用一种每时间步仅执行一次最大特征向量计算的算法，得到了 O((N log N)^{1/4} sqrt{T}) 的期望遗憾界。这里 T 是轮数，N 是矩阵维度。我们的算法及其分析还扩展到更一般的在线 PCA 问题，其中学习器需要输出一个秩为 k 的子空间。该算法每步仅需计算 k 个最大特征向量，并享有 O(k (N log N)^{1/4} sqrt{T}) 的期望遗憾界。
引用
@article{arxiv.1507.03032,
title = {Spectral Smoothing via Random Matrix Perturbations},
author = {Jacob Abernethy and Chansoo Lee and Ambuj Tewari},
journal= {arXiv preprint arXiv:1507.03032},
year = {2015}
}
备注
This paper has been withdrawn by the author due to a crucial error in Theorem 6.2