用于点击率预测的深度兴趣网络

点击率预测是在线广告等工业应用中的一项基本任务。最近提出了基于深度学习的模型，这些模型遵循类似的Embedding&MLP范式。在这些方法中，大规模稀疏输入特征首先被映射到低维嵌入向量，然后以分组方式转换为固定长度的向量，最后拼接在一起输入多层感知机（MLP）以学习特征间的非线性关系。通过这种方式，用户特征被压缩成一个固定长度的表示向量，而不考虑候选广告是什么。使用固定长度向量将成为一个瓶颈，给Embedding&MLP方法从丰富的用户历史行为中有效捕捉用户多样化的兴趣带来困难。本文提出了一种新颖的模型：深度兴趣网络（DIN），它通过设计一个局部激活单元，根据特定广告从历史行为中自适应地学习用户兴趣的表示，从而应对这一挑战。该表示向量随不同广告而变化，极大地提升了模型的表达能力。此外，我们开发了两项技术：小批量感知正则化和数据自适应激活函数，它们有助于训练具有数亿参数的工业级深度网络。在两个公开数据集以及一个拥有超过20亿样本的阿里巴巴真实生产数据集上的实验，证明了所提方法的有效性，与最先进的方法相比，其取得了更优的性能。DIN现已成功部署于阿里巴巴的在线展示广告系统中，服务于主要流量。