一种用于矩阵乘性权重的秩一草图
机器学习
2019-08-14 v2 数据结构与算法
最优化与控制
机器学习
摘要
我们证明了矩阵乘性权重(MMW)更新的一种简单随机草图在期望上享有与MMW相同的后悔界，仅相差一个小的常数因子。与MMW中每一步都需要完整的矩阵指数运算不同，我们的步骤仅需形如的单个乘积，而Lanczos方法可高效逼近该乘积。我们的关键技术是将草图视为随机镜像投影，并对期望投影进行镜像下降分析。我们的草图解决了在线特征向量问题，将已知最优复杂度界改进了。我们还将此草图应用于鞍点形式的半定规划，得到了一种简单的原始对偶方案，其保证与文献中最佳结果相匹配。
引用
@article{arxiv.1903.02675,
title = {A Rank-1 Sketch for Matrix Multiplicative Weights},
author = {Yair Carmon and John C. Duchi and Aaron Sidford and Kevin Tian},
journal= {arXiv preprint arXiv:1903.02675},
year = {2019}
}