无需额外增加单元即可从损失景观中消除所有不良局部极小值
机器学习
2019-01-15 v1 机器学习
摘要
近期工作指出，通过添加具有特定参数化的单个单元，可从神经网络损失景观中移除所有不良局部极小值。我们表明，这些论文的核心技术可用于从任意损失景观中移除所有不良局部极小值，只要全局最小值的损失为零。该过程不需要添加辅助单元，甚至不要求损失与神经网络相关。其作用方式是将所有不良局部极小值转化为关于辅助参数在无穷远处的不良（非局部）极小值。
引用
@article{arxiv.1901.03909,
title = {Eliminating all bad Local Minima from Loss Landscapes without even adding an Extra Unit},
author = {Jascha Sohl-Dickstein and Kenji Kawaguchi},
journal= {arXiv preprint arXiv:1901.03909},
year = {2019}
}