基于 Broyden 方法的 EM 与 MM 算法的拟牛顿加速
最优化与控制
2022-01-20 v1 统计计算
统计方法学
摘要
优化最小化（MM）原理为导出求解优化问题的有效算法提供了通用框架。然而，它们常受收敛缓慢之苦，尤其在大规模和高维数据设定下。这引发了专为 MM 算法设计的加速方案的关注，但许多现有设计或是针对特定问题，或依赖于受优化文献松散启发的近似与启发式方法。我们提出了一种新颖、严谨的拟牛顿方法，用于加速任意有效的 MM 算法，将其视为寻求 MM 算法映射的不动点。该方法不需要来自目标函数或其梯度的特定信息或计算，并享有适用于高维设定下高效计算的有限内存变体。通过将我们的方法与 Broyden 经典求根方法相联系，我们建立了收敛保证并辨识出线性与超线性收敛的条件。这些结果在数值上得到验证，并在一项详尽的实证研究中与同类方法比较，显示其在多样化问题上达到了最先进（SOTA）性能。
引用
@article{arxiv.2201.05935,
title = {Quasi-Newton acceleration of EM and MM algorithms via Broyden$'$s method},
author = {Medha Agarwal and Jason Xu},
journal= {arXiv preprint arXiv:2201.05935},
year = {2022}
}
备注
41 pages, 7 pages appendix, 4 figures, 7 tables; associated code for examples can be found at https://github.com/medhaaga/Quasi-Newton-accelerated-MM; submitted to Journal of Computational and Graphical Statistics; for R package (GitHub dev version) implementing the method, see https://github.com/medhaaga/quasiNewtonMM