Richardson 与 Newton-Schulz 迭代的收敛速度改进
最优化与控制
2020-08-27 v1 数值分析
数值分析
摘要
在许多对时间与精度要求严苛的应用中，如系统辨识、信号与图像处理、网络与大数据分析、机器学习等，需要快速收敛、准确、计算高效、可并行且鲁棒的矩阵求逆与参数估计算法。本文引入具有可选收敛速率的新复合幂级数展开（可在具有不同计算能力的并行单元上同时计算），以进一步改进高阶 Newton-Schulz 迭代的收敛速度。该新展开被集成进 Richardson 迭代中，带来了显著的收敛速度提升。该改进通过估计误差的显式瞬态模型与仿真进行量化。此外，为同步计算开发了结合 Richardson 迭代与带复合展开的 Newton-Schulz 迭代的递归且计算高效的版本。而且，本文以幂级数展开工具包的形式开发了统一因式分解，由此产生一类计算高效的 Newton-Schulz 算法。
引用
@article{arxiv.2008.11480,
title = {Convergence Rate Improvement of Richardson and Newton-Schulz Iterations},
author = {Alexander Stotsky},
journal= {arXiv preprint arXiv:2008.11480},
year = {2020}
}