自适应解决深度神经网络的局部极小问题
机器学习
2020-12-29 v1 机器学习
摘要
本文旨在克服深度神经网络（DNNs）理论与应用中的一个基本问题。我们提出一种直接解决 DNN 训练中的局部极小问题的方法。我们的方法基于通过将对交叉熵损失转换为风险规避误差（RAE）准则来实现交叉熵损失准则的凸化。为缓解数值困难，采用了归一化 RAE（NRAE）。交叉熵损失的凸性区域随其风险敏感指数（RSI）增大而扩展。充分利用该凸性区域，我们的方法以较大的 RSI 开始训练，逐渐减小它，并在 RAE 数值上可行时立即切换到 RAE。训练收敛后，所得的深度学习机器有望位于交叉熵损失的全局极小吸引 basin 内。数值结果展示了所提方法的有效性。
引用
@article{arxiv.2012.13632,
title = {Adaptively Solving the Local-Minimum Problem for Deep Neural Networks},
author = {Huachuan Wang and James Ting-Ho Lo},
journal= {arXiv preprint arXiv:2012.13632},
year = {2020}
}
备注
arXiv admin note: substantial text overlap with arXiv:1506.02690, arXiv:1510.03826