Random Cloud: 无需训练寻找最小神经网络结构

我提出了 \emph{Random Cloud} 方法，这是一种无需训练的神经网络结构搜索方法，通过随机探索和渐进式结构减小来发现最小化 feed 前向网络拓扑。不同于需要完整的训练-修剪-再训练循环的后训练修剪方法，此方法在无反向传播的情况下评估随机初始化的网络，逐步减小其拓扑结构，仅在最后训练最佳的最小候选者。我在 7 个分类基准上对其进行评估，与幅度修剪和随机修剪基准进行比较。Random Cloud 在 6 个数据集中匹配或超越两个基准，在声纳数据集上实现统计显著的改进（准确率提高 4.9 百分点，$p{=}0.017$ 对比幅度修剪），实现了 87% 参数减小。关键的是，在 4 个数据集中，此方法比两个修剪基准更快（耗时为 0.67--0.94 $\times$ 完整训练成本），因为它完全避免了对完整大小网络的训练。