神经切影核下二次外推的特殊情况
机器学习
2025-12-19 v1
摘要
已证明 ReLU 多层感知器在超出分布评估点处倾向于线性外推。机器学习文献中对引起线性性的机制提供了丰富分析。然而，关于在神经切影核 (NTK) 范式下原点处外推的分析仍较少探索。特别是，由神经切影核引起的无限维特征映射对平移不敏感。这意味着，对远离原点的超出分布评估点的研究并不等价于对接近原点的评估。由于特征映射具有旋转不变性，这两个特殊情况可能代表 ReLU NTK 外推的最典型极端界限。最终，正是对这两种外推特殊情况的模糊认识促成了就接近原点的评估发现二次外推。
引用
@article{arxiv.2512.15749,
title = {A Special Case of Quadratic Extrapolation Under the Neural Tangent Kernel},
author = {Abiel Kim},
journal= {arXiv preprint arXiv:2512.15749},
year = {2025}
}
备注
13 pages