Amazon SageMaker 自动模型调优：可扩展的无梯度优化
机器学习
2021-06-22 v2 人工智能
机器学习
摘要
调优复杂的机器学习系统具有挑战性。机器学习通常需要设定超参数，无论是正则化、架构还是优化参数，其调优对获得良好预测性能至关重要。为使机器学习系统得以普及，自动化调优必不可少。本文介绍 Amazon SageMaker 自动模型调优（AMT），一个用于大规模无梯度优化的全托管系统。AMT 通过以不同超参数配置反复评估训练好的机器学习模型，找出其最佳版本。它利用随机搜索或贝叶斯优化来选择超参数值，以产生由用户选定指标衡量的更佳模型。AMT 可与内置算法、自定义算法以及 Amazon SageMaker 机器学习框架预构建容器配合使用。我们讨论了核心功能、系统架构、设计原则与经验教训。我们还描述了 AMT 的更高级特性，如自动化早停与热启动，并通过实验展示它们给用户带来的益处。
引用
@article{arxiv.2012.08489,
title = {Amazon SageMaker Automatic Model Tuning: Scalable Gradient-Free Optimization},
author = {Valerio Perrone and Huibin Shen and Aida Zolic and Iaroslav Shcherbatyi and Amr Ahmed and Tanya Bansal and Michele Donini and Fela Winkelmolen and Rodolphe Jenatton and Jean Baptiste Faddoul and Barbara Pogorzelska and Miroslav Miladinovic and Krishnaram Kenthapadi and Matthias Seeger and Cédric Archambeau},
journal= {arXiv preprint arXiv:2012.08489},
year = {2021}
}