GreenFlow：构建环境友好型推荐系统的计算分配框架
信息检索
2023-12-29 v1 机器学习
摘要
鉴于用户和物品数量庞大，工业级级联推荐系统（RS）在规模和复杂性上不断扩展，以将相关物品（如新闻、服务和商品）推送给合适的用户。在每秒数十万请求的真实场景中，需要大量计算来为每个请求推断个性化结果，导致巨大的能源消耗和碳排放，这引起了关注。本文提出了GreenFlow，一个实用的RS计算分配框架，在推理过程中同时考虑准确性和碳排放。对于级联RS的每个阶段（如召回、预排序、排序等），当用户触发请求时，我们定义了两个决定计算量的动作：（1）具有不同计算复杂度的模型训练实例；（2）在该阶段要推断的物品数量。我们将所有阶段中的动作组合称为动作链。为每个动作链估计一个奖励分数，然后进行动态原始-对偶优化，同时考虑奖励和计算预算。大量实验验证了该框架的有效性，在一个工业移动应用中减少了41%的计算消耗，同时保持了商业收入。此外，该框架每天节省约5000千瓦时电力，减少3吨碳排放。
引用
@article{arxiv.2312.16176,
title = {GreenFlow: A Computation Allocation Framework for Building Environmentally Sound Recommendation System},
author = {Xingyu Lu and Zhining Liu and Yanchu Guan and Hongxuan Zhang and Chenyi Zhuang and Wenqi Ma and Yize Tan and Jinjie Gu and Guannan Zhang},
journal= {arXiv preprint arXiv:2312.16176},
year = {2023}
}