DCN V2:改进的 Deep & Cross Network 及面向 Web 规模排序系统的实践启示
信息检索
2021-06-11 v2 机器学习
机器学习
摘要
学习有效的特征交叉是构建推荐系统的关键。然而,稀疏且庞大的特征空间需要穷举搜索才能识别有效的交叉。Deep & Cross Network (DCN) 被提出以自动且高效地学习有界度的预测性特征交互。遗憾的是,在服务于拥有数十亿训练样本的 web 规模流量的模型中,DCN 在其交叉网络学习更具预测性的特征交互时表现出有限的表达能力。尽管研究取得了显著进展,生产中的许多深度学习模型仍依赖传统的前馈神经网络低效地学习特征交叉。鉴于 DCN 与现有特征交互学习方法的优劣,我们提出改进框架 DCN-V2,使 DCN 在大规模工业环境中更实用。在一项包含广泛超参数搜索与模型调优的综合实验研究中,我们观察到 DCN-V2 在流行基准数据集上优于所有最先进算法。改进后的 DCN-V2 更具表达力,且在特征交互学习上仍保持成本高效,尤其当与低秩架构混合结合时。DCN-V2 简洁,可轻易作为构建模块采用,并已在 Google 的许多 web 规模排序系统中带来了显著的离线准确率与在线业务指标提升。
引用
@article{arxiv.2008.13535,
title = {DCN V2: Improved Deep & Cross Network and Practical Lessons for Web-scale Learning to Rank Systems},
author = {Ruoxi Wang and Rakesh Shivanna and Derek Z. Cheng and Sagar Jain and Dong Lin and Lichan Hong and Ed H. Chi},
journal= {arXiv preprint arXiv:2008.13535},
year = {2021}
}