加权最小二乘降秩矩阵逼近问题的变量投影框架

在这本专著中，我们回顾并发展了用于加权低秩逼近 (WLRA) 问题的变量投影高斯-牛顿法、莱文贝格-马夸特法和牛顿法，该问题目前在众多科学领域有越来越多的应用。我们特别关注这些变量投影二阶算法的鲁棒性、效率和可扩展性，使其也能用于许多实际问题中现在常见的大规模数据集。对于这些数据集，以往只有基于局部优化序列重复（例如，优化最小化、期望最大化或交替最小二乘法）或梯度下降变体（例如，共轭梯度、邻近梯度或随机梯度下降法）的一阶算法，或这两类方法的混合算法，因其每次迭代较低的成本和内存需求而可行。在回顾变量投影算法的同时，我们为这些变量投影方法中涉及的雅可比矩阵和海森矩阵推导了新的公式，并展示了它们非常特殊的性质，例如雅可比矩阵的一致秩亏或海森矩阵在与 WLRA 问题相关的代价函数的（局部）极小点处的秩亏。在算法的任何实际实现中都必须考虑这些系统性的缺陷。这些不同的性质以及 WLRA 问题非常特殊的几何结构在过去没有得到充分认识，并且一直是开发用于求解 WLRA 问题的鲁棒变量投影二阶算法的主要障碍。此外，我们证明变量投影框架为 WLRA 问题的可解性、景观和非光滑性提供了独到的见解。它还有助于描述先前为解决该问题而提出的、看似不相关的方法之间的紧密联系。具体来说，我们阐明了变量投影框架与用于 WLRA 问题的格拉斯曼流形上的黎曼优化之间的紧密联系。我们期望，来自计算机视觉、信号处理、推荐系统、机器学习、多元统计和地球物理科学等不同领域的软件开发者和实践者将从本专著的结果中受益，从而设计出更鲁棒、更精确的算法来解决 WLRA 问题。