通过次线性激活神经元识别实现高效 SGD 神经网络训练
机器学习
2023-07-14 v1
摘要
深度学习已广泛应用于诸多领域，但模型训练过程通常消耗大量计算资源与时间。因此，设计具有可证明收敛保证的高效神经网络训练方法是一个基础且重要的研究问题。本文提出一种由全连接两层神经网络构成的静态半空间报告数据结构，针对偏移 ReLU 激活实现通过几何搜索在次线性时间内识别激活神经元。我们还证明，该算法可在 时间内收敛，其中网络规模关于系数范数上界 与误差项 为二次。
引用
@article{arxiv.2307.06565,
title = {Efficient SGD Neural Network Training via Sublinear Activated Neuron Identification},
author = {Lianke Qin and Zhao Song and Yuanyuan Yang},
journal= {arXiv preprint arXiv:2307.06565},
year = {2023}
}