IFNSO：无迭代牛顿-施勒正交化
机器学习
2026-03-23 v3 人工智能
数值分析
数值分析
摘要
牛顿-施勒 (NS) 迭代已成为诸如 Muon 等优化器中正交化以及 Stiefel 流形上优化的关键技术。尽管其有效性显而易见，但传统 NS 迭代因重复的高维矩阵乘法而导致显著的计算开销。为克服这些限制，我们提出了无迭代牛顿-施勒正交化 (IFNSO)，一种将传统迭代结构整合到统一且无迭代公式中的新型框架。通过分析单个矩阵幂的贡献，我们通过去除微不足道的项并引入可学习系数的多项式来简化过程。这些系数经过优化，确保了卓越的计算效率和稳定的收敛性。广泛的实验表明，IFNSO 的性能优于现有方法。我们的代码可在：https://github.com/greekinRoma/Unified_Newton_Schulz_Orthogonalization 查看。
引用
@article{arxiv.2602.02500,
title = {IFNSO: Iteration-Free Newton-Schulz Orthogonalization},
author = {Chen Hu and Qianxi Zhao and Xiaochen Yuan and Hong Zhang and Ding Yuan and Yanbin Wu and Xiying Li},
journal= {arXiv preprint arXiv:2602.02500},
year = {2026}
}
备注
The paper is under consideration at Pattern Recognition Letters