通过神经网络划分进行超参数优化

调优良好的超参数对于神经网络获得良好的泛化行为至关重要。它们可以施加适当的归纳偏置、正则化模型并提升性能——尤其是在数据有限的情况下。在这项工作中，我们受边际似然（一种无需验证数据的优化目标）启发，提出了一种简单高效的超参数优化方法。我们的方法将训练数据和神经网络模型分别划分为 $K$ 个数据分片（data shards）和参数分区（parameter partitions）。每个分区仅与特定数据分片相关联并在其上优化。将这些分区组合为子网络，使我们能够定义子网络的“训练样本外（out-of-training-sample）”损失，即子网络未见过的数据分片上的损失，作为超参数优化的目标。我们证明，可以在单次训练运行中应用该目标优化多种不同的超参数，同时计算开销显著低于旨在优化神经网络边际似然的替代方法。最后，我们还专注于联邦学习中的超参数优化，其中重新训练和交叉验证尤其具有挑战性。