使用大型语言模型进行超参数优化
机器学习
2024-11-12 v2 人工智能
摘要
本文探讨了基础大型语言模型 (LLMs) 在超参数优化 (HPO) 中的应用。超参数在决定机器学习模型的有效性方面至关重要，然而在预算有限的情况下，其优化往往依赖于手动方法。通过向 LLMs 提供数据集和模型描述，我们开发了一种方法，让 LLMs 建议超参数配置，然后根据模型性能迭代优化这些配置。我们在标准基准上的实证评估表明，在有限的搜索预算内，LLMs 在标准基准上的不同模型上可以匹配或超越传统的 HPO 方法，如贝叶斯优化。此外，我们提议将指定我们模型的代码视为一个超参数，由 LLM 输出，这提供了比现有 HPO 方法更大的灵活性。
引用
@article{arxiv.2312.04528,
title = {Using Large Language Models for Hyperparameter Optimization},
author = {Michael R. Zhang and Nishkrit Desai and Juhan Bae and Jonathan Lorraine and Jimmy Ba},
journal= {arXiv preprint arXiv:2312.04528},
year = {2024}
}
备注
28 pages