基于迹估计的快速神经端点核对齐、范数与有效秩
机器学习
2025-11-17 v1 人工智能
数值分析
数值分析
摘要
神经端点核（NTK）刻画了模型状态随梯度下降演化的方式。计算完整的 NTK 矩阵常常不可行，尤其是对于循环结构而言。本文提出一种矩阵无视角度，使用迹估计快速分析经验的、有限宽度的 NTK。这使得能够快速计算 NTK 的迹、弗罗贝尼乌斯范数、有效秩以及对齐。我们提供基于 Hutch++ 迹估计器的numerical recipe，并具有可证明的快速收敛保证。此外，我们展示由于 NTK 的结构，仅需前向或反向模式自动微分即可计算迹，不需要两种模式。我们称之为单侧估计器，可在低样本 regime 中超过 Hutch++，尤其当模型状态与参数数量之间的差距较大时。总体而言，我们的结果表明，矩阵无视的随机化方法可实现数个数量级的加速，导致更快的 NTK 分析和应用。
引用
@article{arxiv.2511.10796,
title = {Fast Neural Tangent Kernel Alignment, Norm and Effective Rank via Trace Estimation},
author = {James Hazelden},
journal= {arXiv preprint arXiv:2511.10796},
year = {2025}
}