基于意识分配的参数优化 (POCA)
机器学习
2024-01-01 v1 机器学习
摘要
现代机器学习算法的性能取决于超参数集的选择。超参数的常见示例包括学习率和稠密神经网络中的层数。Auto-ML 是优化领域的一个分支，在此方面做出了重要贡献。在 Auto-ML 中，基于 Hyperband 的方法通过在低预算下评估后淘汰表现不佳的配置，成为最有效的方法之一。然而，这些算法的性能强烈依赖于其如何有效地将计算预算分配给各种超参数配置。我们提出了一种新的基于 Hyperband 的算法——基于意识分配的参数优化 (POCA)，该算法遵循贝叶斯采样方案，自适应地将输入预算分配给其生成的超参数配置。我们将 POCA 与其在优化人工玩具函数和深度神经网络超参数方面最接近的竞争对手进行了比较，发现 POCA 在这两种设置中都能更快地找到强配置。
引用
@article{arxiv.2312.17404,
title = {Parameter Optimization with Conscious Allocation (POCA)},
author = {Joshua Inman and Tanmay Khandait and Giulia Pedrielli and Lalitha Sankar},
journal= {arXiv preprint arXiv:2312.17404},
year = {2024}
}
备注
To be published in the Proceeding of the 2023 Winter Simulation Conference