基于多臂老虎机的在线可扩展模型选择
机器学习
2021-01-27 v1 人工智能
摘要
许多运行在实时流量上的在线应用由机器学习模型驱动，其训练、验证与超参数调优均在历史数据上进行。然而，在离线分析中表现强劲的模型在线上部署时性能变差的情况十分常见。该问题源于在非平稳环境中基于历史数据训练的困难。此外，用于模型选择的机器学习指标可能不足以与决定被测应用成败的真实业务指标相关联。这些问题在实时竞价 (RTB) 领域尤为突出，其中 ML 模型驱动竞价策略，且模型变更可能影响广告活动的表现。本工作中，我们提出自动模型选择器 (AMS)，一种基于真实世界性能指标对 RTB 竞价策略进行可扩展在线选择的系统。AMS 采用多臂老虎机 (MAB) 近乎同时运行并评估多个模型对抗实时流量，将最多流量分配给表现最佳的模型，同时减少对线上表现较差模型的流量，从而将劣质模型对整体活动性能的影响降至最低。该系统避免依赖离线数据，而是根据可操作的业务目标逐例进行模型选择。AMS 允许新模型在开发完成后即安全引入实时活动，将整体性能风险最小化。在多个广告活动的实时流量测试中，AMS 系统被证明在提升广告活动表现方面高度有效。
引用
@article{arxiv.2101.10385,
title = {Online and Scalable Model Selection with Multi-Armed Bandits},
author = {Jiayi Xie and Michael Tashman and John Hoffman and Lee Winikor and Rouzbeh Gerami},
journal= {arXiv preprint arXiv:2101.10385},
year = {2021}
}