给定神经网络全连接层的最小神经元数（第一近似）

本文提出了一种用于搜索给定问题解答网络全连接层最小神经元数的算法，不需要对不同神经元数进行多次训练。该算法基于使用交叉验证方法对初始宽网络进行训练（至少两个折叠），随后通过插入在训练后网络所研究层之后的截断奇异值分解自编码器来搜索该层的最小神经元数。我们指出，全连接层的最小神经元数可解释为网络架构、训练数据集、层位置以及所用质量度量所决定的内部（潜在）属性，而非与网络其他超参数关联的超参数。因此，可独立地估计每个隐藏全连接层的最小神经元数。该提议算法是估计该层最小神经元数的第一近似，因为一方面该算法不能保证使用所发现的神经元数训练出的神经网络可达到所需质量，另一方面它在受限的可能解类别中搜索最小神经元数。该解决方案在分类和回归问题中测试于多个数据集上。