更快改进速率的基于种群训练

神经网络的成功训练通常涉及细致且耗时的超参数调优。基于种群训练(Population Based Training, PBT)近期被提出以自动化这一过程。PBT 同时训练一个神经网络种群,在其训练过程中频繁变异其超参数。然而,PBT 的决策机制是贪婪的,偏向于短期改进,这在某些情况下会导致较差的长期性能。本文提出更快改进速率 PBT(Faster Improvement Rate PBT, FIRE PBT)以解决该问题。我们的方法基于一个假设:给定两个性能相似且以相似超参数训练的神经网络,展现出更快改进速率的网络将带来更好的最终性能。利用这一点,我们推导出一种新颖的适应度度量,并用它使部分种群成员专注于长期性能。我们的实验表明,FIRE PBT 能够在 ImageNet 基准上超越 PBT,并匹配使用手工调优学习率调度训练的网络的性能。我们将 FIRE PBT 应用于强化学习任务,并表明其比 PBT 和随机超参数搜索带来更快的学习和更高的最终性能。