中文

面向核矩阵的参数化层次矩阵近似

人工智能 2025-11-06 v1

摘要

核矩阵在计算数学中随处可见,常源自机器学习和科学计算中的应用。在二维或三维空间或特征维度中,这类问题可通过称为层次矩阵(hierarchical matrices)的矩阵类高效近似。层次矩阵由若干小的近场块(或子矩阵)以稠密格式存储,以及由低秩矩阵近似的大远场块组成。标准方法在形成层次矩阵时并不考虑核矩阵依赖于特定超参数的事实;例如,在高斯过程的语境中,必须在固定的参数空间中优化超参数。我们引入了新的层次矩阵类,即参数化(参数相关)层次矩阵。该新类的成员包括参数化H\mathcal{H}矩阵和参数化H2\mathcal{H}^{2}矩阵。参数化层次矩阵的构建遵循离线-在线范式。在离线阶段,使用多项式逼近和张量压缩对近场和远场块进行近似。在在线阶段,对于特定的超参数,可高效地实例化参数化层次矩阵为标准层次矩阵。离线阶段的存储和计算渐近成本与相应的标准方法相当。然而,我们的方法在在线阶段不需要重新评估核函数,且远场块的计算效率高于标准方法。{数值实验表明,与现有技术相比,速度提升超过100×100\times。}

关键词

引用

@article{arxiv.2511.03106,
  title  = {Large language models require a new form of oversight: capability-based monitoring},
  author = {Katherine C. Kellogg and Bingyang Ye and Yifan Hu and Guergana K. Savova and Byron Wallace and Danielle S. Bitterman},
  journal= {arXiv preprint arXiv:2511.03106},
  year   = {2025}
}

备注

Under review