过参数化神经网络索博列夫训练的全局收敛性
机器学习
2020-08-18 v2 信息论
math.IT
最优化与控制
机器学习
摘要
索博列夫损失用于训练网络以逼近目标函数在给定输入点集上的值和导数。近期工作已证明其在蒸馏或合成梯度预测等多种任务中的成功应用。本文中，我们证明，在输入数据满足分离条件下，一个过参数化的两层ReLU神经网络在索博列夫损失下使用从随机初始化开始的梯度流进行训练，可以拟合任意给定的函数值和任意给定的方向导数。
引用
@article{arxiv.2006.07928,
title = {Global Convergence of Sobolev Training for Overparameterized Neural Networks},
author = {Jorio Cocola and Paul Hand},
journal= {arXiv preprint arXiv:2006.07928},
year = {2020}
}
备注
Accepted for presentation at the 6th International Conference on Machine Learning, Optimization and Data science - LOD 2020