唯尾部重要：凸情形下的平均情形普适性与鲁棒性
最优化与控制
2022-06-23 v2 机器学习
摘要
近期发展的优化方法平均情形分析相比通常的最坏情形结果能够进行更精细且更具代表性的收敛分析。作为交换，该分析需要对数据生成过程有更精确的假设，即假定已知与问题相关的随机矩阵的期望谱分布（ESD）。本文表明，ESD 在边缘附近的特征值集中程度决定了一个问题的渐近平均复杂度。关于该集中程度的先验信息比完全已知 ESD 更为合理的假设。这种近似集中实质上处于最坏情形场景收敛的粗粒度与先前受限的平均情形分析之间的中间地带。我们还引入了广义切比雪夫方法，在该集中假设下渐近最优，且当 ESD 服从 Beta 分布时全局最优。我们将其性能与经典优化算法（如梯度下降或 Nesterov 格式）进行比较，并表明在平均情形背景下，Nesterov 方法渐近地普遍近乎最优。
引用
@article{arxiv.2206.09901,
title = {Only Tails Matter: Average-Case Universality and Robustness in the Convex Regime},
author = {Leonardo Cunha and Gauthier Gidel and Fabian Pedregosa and Damien Scieur and Courtney Paquette},
journal= {arXiv preprint arXiv:2206.09901},
year = {2022}
}
备注
To be published in ICML 2022