基于梯度下降的通用 ReLU 激活函数的不可知学习
机器学习
2024-11-05 v2 数据结构与算法
机器学习
摘要
我们针对在高斯分布下不可知学习带有中等偏置的单个 ReLU 函数问题，给出了梯度下降的收敛性分析。与以往研究零偏置设定的工作不同，我们考虑了 ReLU 函数偏置非零这一更具挑战性的场景。我们的主要结果证明，从随机初始化出发，经过多项式次迭代，梯度下降以高概率输出一个 ReLU 函数，其误差在常数因子范围内接近具有中等偏置的最优 ReLU 函数的误差。我们还给出了有限样本保证，且这些技术可推广至高斯分布之外更广泛的一类边际分布。
引用
@article{arxiv.2208.02711,
title = {Agnostic Learning of General ReLU Activation Using Gradient Descent},
author = {Pranjal Awasthi and Alex Tang and Aravindan Vijayaraghavan},
journal= {arXiv preprint arXiv:2208.02711},
year = {2024}
}
备注
28 oages