持续学习中的超参数选择
机器学习
2025-03-17 v2 机器学习
摘要
在持续学习（CL）中——学习器在数据流上进行训练——标准的超参数优化（HPO）无法应用，因为学习器无法同时访问所有数据。这促使了针对CL的特定HPO框架的开发。在CL中调整超参数最流行的方法是使用不同的超参数设置在整个数据流上重复训练。然而，这种训练结束时的HPO在实践中不可用，因为学习器只能看到一次数据流。因此，存在一个开放性问题：在实践中，从业者应该使用哪种HPO框架来解决CL问题？本文通过比较几种现实的HPO框架来探讨这个问题。我们发现，所考虑的HPO框架（包括训练结束时的HPO）在流行的CL基准测试上并没有一致地优于其他框架。因此，我们得出双重结论：a) 为了能够区分HPO框架，需要超越当前最常用的CL基准测试；b) 在所检查的流行CL基准测试上，CL从业者应使用现实的HPO框架，并可以根据性能以外的因素（例如计算效率）来选择它。
引用
@article{arxiv.2404.06466,
title = {Hyperparameter Selection in Continual Learning},
author = {Thomas L. Lee and Sigrid Passano Hellan and Linus Ericsson and Elliot J. Crowley and Amos Storkey},
journal= {arXiv preprint arXiv:2404.06466},
year = {2025}
}
备注
Preprint, 16 pages