前馈神经网络架构的损失曲面模态
机器学习
2020-01-31 v2 神经与进化计算
机器学习
摘要
过去有观点认为，高维神经网络不会表现出能够困住优化算法的局部极小值。然而，损失曲面模态与神经网络架构参数（如每层隐藏神经元数量和隐藏层数量）之间的关系仍知之甚少。本研究采用适应度景观分析，在各种前馈架构设置下研究神经网络损失曲面的模态。研究表明，问题维度的增加会产生更具可搜索性和可开发性的损失曲面。隐藏层宽度的增加被证明能有效减少局部极小值的数量，并简化全局吸引子的形状。架构深度的增加被证明会锐化全局吸引子，从而使其更具可开发性。
引用
@article{arxiv.1905.10268,
title = {Loss Surface Modality of Feed-Forward Neural Network Architectures},
author = {Anna Sergeevna Bosman and Andries Engelbrecht and Mardé Helbig},
journal= {arXiv preprint arXiv:1905.10268},
year = {2020}
}
备注
9 pages