面向使用Transformer学习通用超参数优化器
机器学习
2022-10-17 v2 人工智能
机器学习
摘要
从先前的实验中元学习超参数优化（HPO）算法是一种有前景的方法，可改善来自相似分布的目标函数的优化效率。然而，现有方法仅限于从共享相同超参数集的实验中学习。在本文中，我们介绍了OptFormer，这是第一个基于文本的Transformer HPO框架，它提供了一个通用的端到端接口，用于在由大量来自实际的调参数据（如Google的Vizier数据库，世界上最大的HPO数据集之一）训练时联合学习策略和函数预测。我们大量的实验表明，OptFormer可以同时模仿至少7种不同的HPO算法，并且可以通过其函数不确定性估计进一步改进。与高斯过程相比，OptFormer还学习了超参数响应函数的鲁棒先验分布，从而能够提供更准确且校准更好的预测。这项工作为未来训练基于Transformer的模型作为通用HPO优化器扩展铺平了道路。
引用
@article{arxiv.2205.13320,
title = {Towards Learning Universal Hyperparameter Optimizers with Transformers},
author = {Yutian Chen and Xingyou Song and Chansoo Lee and Zi Wang and Qiuyi Zhang and David Dohan and Kazuya Kawakami and Greg Kochanski and Arnaud Doucet and Marc'aurelio Ranzato and Sagi Perel and Nando de Freitas},
journal= {arXiv preprint arXiv:2205.13320},
year = {2022}
}
备注
Published as a conference paper in Neural Information Processing Systems (NeurIPS) 2022. Code can be found in https://github.com/google-research/optformer and Google AI Blog can be found in https://ai.googleblog.com/2022/08/optformer-towards-universal.html