神经网络的Sobolev加速
机器学习
2025-09-25 v1 人工智能
摘要
Sobolev训练将目标导数整合到损失函数中，已被证明相比传统的训练能加速收敛并改善泛化性。然而，该训练方法的基础机制目前仍仅被部分理解。在本工作中，我们提出了第一个严格的理论框架，证明Sobolev训练加速了修正线性单元（ReLU）网络的收敛。在高斯输入和浅层架构的学生-教师框架下，我们推导了群体梯度和Hessian矩阵的精确公式，并量化了损失景观条件数和梯度流收敛速率的改善。广泛的数值实验验证了我们的理论发现，并表明Sobolev训练的优势可延伸至现代深度学习任务。
引用
@article{arxiv.2509.19773,
title = {Sobolev acceleration for neural networks},
author = {Jong Kwon Oh and Hanbaek Lyu and Hwijae Son},
journal= {arXiv preprint arXiv:2509.19773},
year = {2025}
}