MaskNet:通过实例引导掩码将特征级乘法引入CTR排序模型
信息检索
2021-07-27 v2
摘要
点击率(CTR)估计已成为许多实际应用中最基础的任务之一,排序模型有效捕获复杂高阶特征十分重要。浅层前馈网络被广泛用于FNN、DeepFM和xDeepFM等许多最先进的DNN模型中,以隐式捕获高阶特征交互。然而,一些研究已证明加性特征交互(尤其是前馈神经网络)在捕获常见特征交互方面效率低下。为解决此问题,我们通过提出实例引导掩码将特定的乘法操作引入DNN排序系统,该掩码在输入实例引导下对特征嵌入和前馈层执行逐元素乘积。本文还通过将DNN模型中的前馈层转变为加性与乘性特征交互的混合,提出了MaskBlock。MaskBlock结合了层归一化、实例引导掩码和前馈层,是可用于在各种配置下设计新排序模型的基本构建块。由MaskBlock组成的模型在本文中称为MaskNet,并提出了两种新的MaskNet模型以展示MaskBlock作为构建高性能排序系统基本构建块的有效性。在三个真实世界数据集上的实验结果表明,我们提出的MaskNet模型显著优于DeepFM和xDeepFM等最先进模型,这意味着MaskBlock是组合新高性能排序系统的有效基本构建单元。
引用
@article{arxiv.2102.07619,
title = {MaskNet: Introducing Feature-Wise Multiplication to CTR Ranking Models by Instance-Guided Mask},
author = {Zhiqiang Wang and Qingyun She and Junlin Zhang},
journal= {arXiv preprint arXiv:2102.07619},
year = {2021}
}
备注
In Proceedings of DLP-KDD 2021. ACM,Singapore. arXiv admin note: text overlap with arXiv:2006.12753