中文

大规模近似消没理想计算

机器学习 2023-02-13 v2 最优化与控制

摘要

点集 X={x1,,xm}RnX = \{\mathbf{x}_1, \ldots, \mathbf{x}_m\}\subseteq \mathbb{R}^n 的消没理想是在所有点 xX\mathbf{x} \in X 上取值为 00 的多项式集合,并容许由有限生成元子集高效表示。在实践中,为容纳数据中的噪声,构造近似消没理想生成元的算法被广泛研究,但其计算复杂度仍然很高。本文中,我们将预言近似消没理想算法(OAVI)——唯一具有已知学习保证的生成元构造算法——进行规模化。我们证明 OAVI 的计算复杂度并非如先前声称的超线性,而是关于样本数 mm 线性的。此外,我们提出两种加速 OAVI 训练时间的修改:我们的分析表明,将 OAVI 中使用的求解器之一——两两条件梯度算法——替换为更快的混合两两条件梯度算法,可在特征数 nn 上带来指数级加速。最后,利用一种新的逆 Hessian 提升方法,中间凸优化问题可近乎瞬时求解,在多种数值实验中将 OAVI 的训练时间提升多个数量级。

关键词

引用

@article{arxiv.2207.01236,
  title  = {Approximate Vanishing Ideal Computations at Scale},
  author = {Elias Wirth and Hiroshi Kera and Sebastian Pokutta},
  journal= {arXiv preprint arXiv:2207.01236},
  year   = {2023}
}