随机搜索作为稀疏神经网络架构搜索的基线

稀疏神经网络在具有更高参数效率的同时，已展现出与密集网络相似或更优的泛化性能。这激发了许多工作去学习或搜索高性能的稀疏网络。尽管任务性能或效率提升的报告令人印象深刻，但标准基线的缺乏导致不同方法之间的可比性差且可复现性不可靠。在这项工作中，我们提出将随机搜索作为寻找良好稀疏配置的基线算法，并研究其性能。我们将随机搜索应用于过参数化网络的节点空间，目标是找到在损失景观中位置更有利的、初始化更好的稀疏子网络。我们记录所找到的稀疏网络在不同稀疏度水平下的训练后性能，并将其与全连接父网络以及相同稀疏度水平下的随机稀疏配置进行比较。首先，我们展示了不同稀疏度水平下的性能，并强调即使网络高度稀疏，仍可保持显著的性能水平。其次，我们观察到，对于这项稀疏架构搜索任务，随机搜索找到的初始化稀疏网络既不比其随机对应物性能更好，收敛效率也不更高。因此，我们得出结论：随机搜索可被视为稀疏性搜索方法的一个合理中性基线。