MultiBalance：工业级多任务推荐系统中的多目标梯度平衡
信息检索
2024-11-20 v1 机器学习
最优化与控制
摘要
在工业推荐系统中，多任务学习（在单个模型上同时学习多个任务）是通过联合学习任务间的知识转移来节省训练/服务资源并提升推荐性能的主流方法。然而，多任务学习常受负迁移困扰：一个或多个任务的优化效果不如单独训练。为了仔细平衡优化过程，我们提出了一种名为 MultiBalance 的梯度平衡方法，适用于工业级多任务推荐系统。它通过平衡各任务梯度来缓解负迁移，同时节省了为寻找合适任务权重而进行网格搜索或人工探索的巨大成本。此外，与以往通常平衡共享参数各任务梯度的研究相比，MultiBalance 效率更高，因为它只需访问各任务关于共享特征表示的梯度。我们在 Meta 的大规模广告与信息流多任务推荐系统上进行了实验，观察到 MultiBalance 取得了显著收益（例如，归一化熵（NE）提升 0.738%），且每秒查询数（QPS）的训练开销保持中性，这明显优于以往那些平衡共享参数各任务梯度但会导致 QPS 下降 70~80% 的方法。
引用
@article{arxiv.2411.11871,
title = {MultiBalance: Multi-Objective Gradient Balancing in Industrial-Scale Multi-Task Recommendation System},
author = {Yun He and Xuxing Chen and Jiayi Xu and Renqin Cai and Yiling You and Jennifer Cao and Minhui Huang and Liu Yang and Yiqun Liu and Xiaoyi Liu and Rong Jin and Sem Park and Bo Long and Xue Feng},
journal= {arXiv preprint arXiv:2411.11871},
year = {2024}
}