一种快速且有理论依据的的经验神经正切核近似
机器学习
2023-06-08 v3 机器学习
摘要
经验神经正切核（eNTKs）能很好地帮助理解给定网络的表示：它们通常比无限宽 NTK 计算代价低得多且适用面更广。然而，对于具有 O 个输出单元（例如 O 类分类器）的网络，在 N 个输入上的 eNTK 大小为 ，占用 内存且最多需要 计算量。因此，大多数现有应用采用了少数几种近似之一来生成 核矩阵，节省了数个数量级的计算，但缺乏或仅有有限的合理性依据。我们证明，其中一种我们称为“logits 之和”的近似，在初始化时对任意具有较宽最终“读出”层的网络收敛于真实 eNTK。我们的实验展示了该近似在一系列设置中多种用途下的质量。
关键词
引用
@article{arxiv.2206.12543,
title = {A Fast, Well-Founded Approximation to the Empirical Neural Tangent Kernel},
author = {Mohamad Amin Mohamadi and Wonho Bae and Danica J. Sutherland},
journal= {arXiv preprint arXiv:2206.12543},
year = {2023}
}