无遗憾学习中的末次迭代收敛：凸凹地形下的约束极小极大优化
机器学习
2025-09-30 v3 计算机科学与博弈论
机器学习
摘要
在最近的一系列论文中，已确立梯度下降/上升和镜像下降的变体在凸凹零和博弈中表现出末次迭代收敛。具体地，\cite{DISZ17, LiangS18} 展示了所谓“乐观梯度下降/上升”在\textit{无约束}极小极大优化情形下的末次迭代收敛。此外，在 \cite{Metal} 中作者展示了带额外梯度步的镜像下降对凸凹问题（有约束和无约束）表现出末次迭代收敛，尽管他们的算法不遵循在线学习框架；它使用额外信息而非\textit{仅}历史来计算下一次迭代。在本工作中，我们展示了遵循无遗憾在线学习框架的“乐观乘性权重更新（OMWU）”在凸凹博弈中局部表现出末次迭代收敛，推广了 \cite{DP19} 中仅对\textit{双线性情形}证明 OMWU 末次迭代收敛的结果。我们用实验补充了我们的结果，表明该方法的快速收敛性。
引用
@article{arxiv.2002.06768,
title = {Last iterate convergence in no-regret learning: constrained min-max optimization for convex-concave landscapes},
author = {Qi Lei and Sai Ganesh Nagarajan and Ioannis Panageas and Xiao Wang},
journal= {arXiv preprint arXiv:2002.06768},
year = {2025}
}
备注
Fixing typos and adding invertibility assumption