不完全 Cholesky 预条件子的神经加速

稀疏线性方程组的求解在科学应用中无处不在。由于内存和计算复杂度的限制，通常选择迭代方法（如预条件共轭梯度法 (PCG)）而非直接方法。然而，这些方法的效率取决于所使用的预条件子。预条件子的开发通常需要对稀疏线性系统有所了解，并在生成预条件子与减少迭代次数之间取得理想的权衡。不完全分解方法往往是生成这些预条件子的黑盒方法，但可能因多种原因失败。这些原因包括需要寻找适当的缩放、平移和填充的数值问题，同时使用难以并行化的算法。随着向异构计算的转变，许多稀疏应用发现针对密集张量应用（如训练神经网络）优化的 GPU 未被充分利用。在这项工作中，我们证明了一个简单的人工神经网络，无论是在编译时训练还是在 GPU 上与运行中的应用并行训练，都可以提供可用作预条件子的不完全稀疏 Cholesky 分解。就减少迭代次数而言，生成的预条件子与使用多种预条件技术（如缩放和平移）找到的预条件子一样好甚至更好。此外，生成的方法也行之有效，且从未失败产生不减少迭代次数的预条件子。