面向机器学习的基于梯度的优化与变分不等式简明导论

近年来机器学习的快速进展建立在它与基于梯度的优化的高度生产性联系之上。进一步的进展部分取决于焦点从模式识别向决策与多智能体问题的转移。在这些更广泛的设定中，出现了涉及均衡与博弈论而非最优值的新的数学挑战。基于梯度的方法仍然不可或缺——鉴于机器学习问题的高维与大规模——但简单梯度下降不再是算法设计的出发点。我们为机器学习中基于梯度的算法提供了一个更宽泛框架的简明导论，从鞍点与单调博弈开始，进而推广到一般变分不等式。尽管我们给出了所呈现若干算法的收敛性证明，我们的主要焦点在于提供动机与直觉。