用于快速鲁棒机器学习的任意误差函数的分段二次近似

大多数机器学习方法源于基于计算高效的二次优化方法的最小平方距离原理的应用。然而，面对高维和噪声数据时，二次误差泛函表现出许多弱点，包括对污染因素的高敏感性和维数灾难。因此，机器学习中许多近期应用利用了基于 $L_1$ 范数甚至对应于拟范数 $L_p$（$0<p<1$）的亚线性势的非二次误差泛函的性质。这些方法的反面是优化计算成本的增加。迄今为止，尚未有方法在灵活且计算高效的框架中处理{\it 任意}误差泛函。在本文中，我们基于次二次增长的分段二次误差势（PQSQ 势），发展了用于基本通用数据近似算法（$k$-means、主成分、主流形与图、正则化与稀疏回归）的理论。我们开发了一个新的通用框架，使用保证快速收敛到局部或全局误差最小值的算法来最小化{\it 任意次二次误差势}。PQSQ 势的理论基于下界函数锥的概念，并代表了基于 min-plus 代数应用的天然近似形式体系。该方法可应用于大多数现有机器学习方法，包括数据近似以及正则化和稀疏回归方法，从而改善计算成本/精度权衡。我们证明，在合成和真实数据集上，基于 PQSQ 的机器学习方法比相应的最先进方法实现数量级更快的计算性能。