通过谱密度估计的平均情形加速
最优化与控制
2023-02-21 v7 机器学习
摘要
我们为随机二次问题的平均情形分析开发了一个框架，并推导了在该分析下最优的算法。这产生了一类在给定Hessian特征值分布模型下实现加速的新方法。我们针对均匀、Marchenko-Pastur和指数分布开发了显式算法。这些方法是基于动量的算法，其超参数可在不知晓Hessian最小奇异值的情况下估计，这与Nesterov加速和Polyak动量等经典加速方法形成对比。通过对二次和逻辑回归问题的经验基准测试，我们确定了所提方法优于经典（最坏情形）加速方法的若干 regime。
引用
@article{arxiv.2002.04756,
title = {Average-case Acceleration Through Spectral Density Estimation},
author = {Fabian Pedregosa and Damien Scieur},
journal= {arXiv preprint arXiv:2002.04756},
year = {2023}
}