多类逻辑回归网络收敛性的一个证明
机器学习
2021-01-29 v4 机器学习
摘要
本文重访一种特殊类型的神经网络，它有两个名称。在统计学与机器学习界称为多类逻辑回归神经网络；在神经网络界则简单称为 soft-max 层。其重要性由它在深度学习中的作用凸显：作为最后一层，其输出实为对输入模式（如图像）的分类。我们的论述聚焦于对表达梯度的关键方程作数学上严格的推导。我们方法的附带好处是一个完全向量化的表达式，它是高效实现的基础。本文的第二个结果是交叉熵损失函数作为权重的函数的二阶导数的正定性。该结果证明可基于凸性使用优化方法来训练此网络。作为推论，我们证明无需 -正则化器即可保证梯度下降的收敛。
引用
@article{arxiv.1903.12600,
title = {A proof of convergence of multi-class logistic regression network},
author = {Marek Rychlik},
journal= {arXiv preprint arXiv:1903.12600},
year = {2021}
}