运动常数：优化与博弈动力学中混沌的解药
最优化与控制
2021-09-13 v2 机器学习
摘要
近期在线优化和博弈动力学领域的若干工作已确立了强烈的负复杂性结果，包括即使在小规模场景（例如 博弈）中不稳定性和混沌的形式化涌现。这些结果引出了以下问题：哪些方法论工具能够保证此类动力学的正则性，以及我们如何将其应用于诸如离散时间一阶优化动力学等标准关注场景？我们展示了如何证明不变函数（即运动常数）的存在性是此方向上的一个根本性贡献，并在优化和博弈场景中建立了大量此类正面结果（例如梯度下降、乘性权重更新、交替梯度下降和流形梯度下降）。在技术层面，对于某些守恒律，我们提供了显式且简洁的闭式形式，而对于另一些，我们则使用动力系统工具给出了非构造性证明。
引用
@article{arxiv.2109.03974,
title = {Constants of Motion: The Antidote to Chaos in Optimization and Game Dynamics},
author = {Georgios Piliouras and Xiao Wang},
journal= {arXiv preprint arXiv:2109.03974},
year = {2021}
}