一种用于秩 -R 规范张量近似的非线性预条件共轭梯度算法
数值分析
2014-07-22 v1 数值分析
最优化与控制
摘要
交替最小二乘法 (ALS) 常被视为计算秩 -R 规范张量近似的主力算法，但对于某些问题，其收敛速度可能非常缓慢。非线性共轭梯度 (NCG) 方法最近被提出作为 ALS 的替代方案，但结果表明 NCG 通常并不比 ALS 快。为了提高 NCG 的收敛速度，我们考虑了一种用于计算秩 -R 规范张量分解的非线性预条件非线性共轭梯度 (PNCG) 算法。我们的方法在 NCG 算法中使用 ALS 作为非线性预条件子。或者，NCG 可被视为 ALS 的加速过程。数值实验表明，PNCG 中的收敛加速机制往往能为困难的张量分解问题带来显著收益，其收敛速度显著快于且鲁棒性优于独立的 NCG 或 ALS 算法。我们考虑了几种将非线性预条件子纳入 NCG 算法的方法，这些方法此前已在文献中描述并在某些应用领域取得了成功。然而，非线性预条件 NCG 方法似乎在更广泛的社区中受到的关注相对较少，无论在理论上还是实验上都尚未得到充分探索。因此，本文还具备其他几项功能：在一处简明概述了仅在文献零星各处描述过的几种 PNCG 变体及其性质；系统地比较了这些 PNCG 变体在张量分解问题上的性能；并进一步强调了非线性预条件 NCG 作为通用工具的有效性。此外，我们简要讨论了 PNCG 算法的收敛性。
引用
@article{arxiv.1407.5183,
title = {A Nonlinearly Preconditioned Conjugate Gradient Algorithm for Rank-R Canonical Tensor Approximation},
author = {Hans De Sterck and Manda Winlaw},
journal= {arXiv preprint arXiv:1407.5183},
year = {2014}
}