用 PopDescent 抛弃你的调度方案
机器学习
2024-04-26 v2
摘要
在当代机器学习负载中，大量超参数搜索算法常被用于高效发现高性能超参数值，如学习和正则化率。因此，一系列参数调度方案被设计出来，以利用训练期间调整超参数的能力来提升损失表现。然而，这些调度方案引入了待搜索的新超参数，且未考虑所训练模型的当前损失值。为解决这些问题，我们提出种群下降（PopDescent），一种采用模因式基于种群搜索的进度感知超参数调优技术。通过融合进化与局部搜索过程，PopDescent 在训练期间基于性能主动探索超参数选项。我们在标准机器学习视觉任务上的试验表明，即便考虑调度方案的使用，PopDescent 仍比现有搜索方法收敛更快，找到测试损失值低至低 18% 的模型参数。此外，我们强调 PopDescent 对其初始训练参数的鲁棒性，这是超参数搜索技术的一项关键特性。
引用
@article{arxiv.2310.14671,
title = {Scrap Your Schedules with PopDescent},
author = {Abhinav Pomalapally and Bassel El Mabsout and Renato Mansuco},
journal= {arXiv preprint arXiv:2310.14671},
year = {2024}
}