关于 Maxout 网络期望复杂度的研究
机器学习
2021-12-17 v2 机器学习
摘要
使用神经网络进行学习依赖于可表示函数的复杂度，但更重要的是，典型参数对不同复杂度函数的特定分配。以激活区域的数量作为复杂度度量，近期工作表明深度 ReLU 网络的实际复杂度常常远小于理论最大值。在本工作中，我们表明这一现象也出现在具有 maxout（多参数）激活函数的网络中，并且在分类任务考虑决策边界时同样存在。我们还表明参数空间具有大量具有迥异复杂度的满维区域，并获得了关于期望复杂度的非平凡下界。最后，我们研究了不同的参数初始化过程，并表明它们能加快训练中的收敛速度。
引用
@article{arxiv.2107.00379,
title = {On the Expected Complexity of Maxout Networks},
author = {Hanna Tseran and Guido Montúfar},
journal= {arXiv preprint arXiv:2107.00379},
year = {2021}
}
备注
Published at NeurIPS 2021, 47 pages, 18 figures