加速乘法权重更新几乎总能避免鞍点
最优化与控制
2022-04-26 v1 机器学习
多智能体系统
摘要
我们考虑约束为单纯形之积的非凸优化问题。求解此类问题的常用算法是乘法权重更新(MWU)，该算法在博弈论、机器学习和多智能体系统中被广泛使用。尽管已知MWU可避免鞍点，但仍有一个问题尚未解决：“是否存在可证明避免鞍点的加速版MWU？”本文对上述问题的回答是肯定的。我们基于黎曼加速梯度下降给出了一种加速MWU，并证明黎曼加速梯度下降（从而加速MWU）几乎总能避免鞍点。
引用
@article{arxiv.2204.11407,
title = {Accelerated Multiplicative Weights Update Avoids Saddle Points almost always},
author = {Yi Feng and Ioannis Panageas and Xiao Wang},
journal= {arXiv preprint arXiv:2204.11407},
year = {2022}
}
备注
21 pages, 12 figures