利用 MaxIP 数据结构打破若干知名条件梯度方法的线性迭代代价壁垒
机器学习
2021-12-01 v1
摘要
条件梯度方法（CGM）在现代机器学习中被广泛使用。CGM 的总运行时间通常由两部分组成：迭代次数和每次迭代的代价。大多数工作聚焦于减少迭代次数以缩短总运行时间。在本工作中，我们关注于改进 CGM 的每次迭代代价。大多数 CGM 中的瓶颈步骤是最大内积搜索（MaxIP），它需要对参数进行线性扫描。在实践中，近似 MaxIP 数据结构被发现是有用的启发式方法。然而，在理论上，关于近似 MaxIP 数据结构与 CGM 的结合尚属未知。在本工作中，我们正面回答了这一问题，提供了一个形式化框架将局部敏感哈希类型的近似 MaxIP 数据结构与 CGM 算法相结合。结果表明，我们给出了首个每次迭代代价在参数数量上呈亚线性的算法，适用于许多基础优化算法，例如 Frank-Wolfe、Herding 算法和策略梯度。
引用
@article{arxiv.2111.15139,
title = {Breaking the Linear Iteration Cost Barrier for Some Well-known Conditional Gradient Methods Using MaxIP Data-structures},
author = {Anshumali Shrivastava and Zhao Song and Zhaozhuo Xu},
journal= {arXiv preprint arXiv:2111.15139},
year = {2021}
}
备注
NeurIPS 2021