具有 ReLU 激活的浅层前馈网络最优解的存在性
机器学习
2024-11-20 v1 数值分析
数值分析
最优化与控制
机器学习
摘要
我们证明了在使用具有 ReLU 激活的浅层前馈人工神经网络逼近连续目标函数时，损失景观中全局最小值存在。这一性质是将 ReLU 与其他常用激活函数区分开来的基本特性之一。我们提出一种搜索空间的闭包，使得在扩展空间中最小化子存在。第二步，我们在温和假设下证明，扩展中新加入的函数表现劣于适当的可表示 ReLU 网络。由此推出，扩展目标空间中的最优响应确为某一 ReLU 网络的响应。
引用
@article{arxiv.2303.03950,
title = {On the existence of optimal shallow feedforward networks with ReLU activation},
author = {Steffen Dereich and Sebastian Kassing},
journal= {arXiv preprint arXiv:2303.03950},
year = {2024}
}
备注
arXiv admin note: substantial text overlap with arXiv:2302.14690