损失函数由微分算子决定的神经网络的神经正切核
机器学习
2025-03-17 v1
摘要
谱偏置是神经网络训练中的一个重要现象，可通过神经正切核 (NTK) 理论加以解释。在本工作中，我们发展了具有物理信息损失的深度神经网络的 NTK 理论，深入探讨了初始化和训练期间 NTK 的收敛性，并揭示了其显式结构。我们发现，在大多数情况下，损失函数中的微分算子并不会引起更快的特征值衰减率和更强的谱偏置。同时也给出了一些验证该理论的实验结果。
引用
@article{arxiv.2503.11029,
title = {Neural Tangent Kernel of Neural Networks with Loss Informed by Differential Operators},
author = {Weiye Gan and Yicheng Li and Qian Lin and Zuoqiang Shi},
journal= {arXiv preprint arXiv:2503.11029},
year = {2025}
}