带重启与单调性控制的阻尼 Anderson 加速方法用于加速 EM 及类 EM 算法
统计计算
2018-08-14 v2 统计方法学
摘要
期望最大化 (EM) 算法是一种从不完全数据计算最大似然估计的著名迭代方法。尽管 EM 算法具有诸多优势，但其主要缺点是经常表现出收敛缓慢，这通常阻碍了 EM 算法在高维问题或其他复杂场景中的应用。为了满足对更快收敛的 EM 算法的需求，我们描述了一类新的加速方案，该方案建立在用于加速不动点迭代的 Anderson 加速技术之上。我们的方法能够极大地加速 EM 算法的收敛，并可自动扩展至高维场景。通过引入周期性算法重启和阻尼因子，与未修改的 Anderson 加速相比，我们的加速方案提供了更快、更稳健的收敛，同时改善了全局收敛性。关键的是，我们的方法作为一种“即插即用”方法运行，可以直接用于加速任何 EM 算法，而不依赖于任何模型特定的特征或见解。通过一系列涉及五个代表性问题的模拟研究，我们表明我们的算法比现有的 SOTA 加速方案快得多。
引用
@article{arxiv.1803.06673,
title = {Damped Anderson acceleration with restarts and monotonicity control for accelerating EM and EM-like algorithms},
author = {Nicholas C. Henderson and Ravi Varadhan},
journal= {arXiv preprint arXiv:1803.06673},
year = {2018}
}