面向 Meta 排序系统大容量建模的 AutoML
信息检索
2023-11-17 v2 人工智能
摘要
Meta 服务于数十亿用户的网页级排序系统十分复杂。改进排序模型至关重要但工程繁重。自动化机器学习（AutoML）可将工程师从繁重的排序模型调优工作中解放；然而，未知的是 AutoML 是否足够高效以满足现实世界中紧凑的生产时间线，同时为基础强劲的基线带来额外改进。此外，为实现更高排序性能，对扩大排序模型至更大容量的需求不断增长，这对效率提出了更多挑战。模型的巨大规模与紧凑的生产计划要求 AutoML 仅使用少量模型评估试验（约 100 次）便超越人类基线。我们提出一种基于采样的 AutoML 方法，聚焦于神经架构搜索与超参数优化，在 Meta 规模生产中构建大容量模型时应对这些挑战。我们的方法高效处理大规模数据需求。它利用轻量级基于预测器的搜索器与强化学习探索广阔搜索空间，显著减少模型评估次数。通过在 CTR 与 CVR 应用的大容量建模实验，我们表明该方法相较人类调优基线实现卓越投资回报率（ROI），通过从精选搜索空间平均仅采样一百个模型，实现高达 0.09% 标准化熵（NE）损失降低或 每秒查询率（QPS）提升。所提 AutoML 方法已产生现实影响：一个发现的 Instagram CTR 模型（相较现有生产基线达至多 -0.36% NE 增益）被选用于大规模在线 A/B 测试并展示统计显著增益。这些生产结果证明了 AutoML 的有效性并加速其在 Meta 排序系统中的采用。
引用
@article{arxiv.2311.07870,
title = {AutoML for Large Capacity Modeling of Meta's Ranking Systems},
author = {Hang Yin and Kuang-Hung Liu and Mengying Sun and Yuxin Chen and Buyun Zhang and Jiang Liu and Vivek Sehgal and Rudresh Rajnikant Panchal and Eugen Hotaj and Xi Liu and Daifeng Guo and Jamey Zhang and Zhou Wang and Shali Jiang and Huayu Li and Zhengxing Chen and Wen-Yen Chen and Jiyan Yang and Wei Wen},
journal= {arXiv preprint arXiv:2311.07870},
year = {2023}
}
备注
Hang Yin and Kuang-Hung Liu contribute equally