用于神经网络的熵误差函数与平滑 l0 正则化的 SGD 方法
机器学习
2024-05-30 v1
摘要
熵误差函数在神经网络中被广泛使用。然而，基于该误差函数的网络训练通常导致收敛速度缓慢，且容易陷入局部最小值，甚至出现错误饱和现象。在实际中，基于熵误差函数的神经网络及其应用已有许多结果，但该算法的理论及其收敛性迄今尚未完全研究。为此，我们提出一种用于前馈神经网络的新型熵函数，融合平滑 l0 正则化。我们在真实数据集上进行了经验评估，表明新构思的算法显著提高了所考虑神经网络的预测性能。更重要的是，实验结果还表明，我们提出的函数在分类准确性方面优于众所周知的基线方法。我们的工作是创新的，因为它使神经网络能够有效学习，产生比现有算法更准确的预测。就此而言，我们期望该算法将为该领域的现有研究做出贡献，推动机器学习和深度学习方面的研究。
引用
@article{arxiv.2405.18552,
title = {SGD method for entropy error function with smoothing l0 regularization for neural networks},
author = {Trong-Tuan Nguyen and Van-Dat Thang and Nguyen Van Thin and Phuong T. Nguyen},
journal= {arXiv preprint arXiv:2405.18552},
year = {2024}
}
备注
The paper has been peer-reviewed and accepted for publication with Springer Applied Intelligence