基于层次注意力网络的深度兴趣模型用于点击率预测
信息检索
2020-05-28 v1 人工智能
机器学习
摘要
深度兴趣网络（DIN）是一种最先进的模型，它使用注意力机制从历史行为中捕捉用户兴趣。用户兴趣直观地遵循层次模式，即用户通常先表现出较高级别的兴趣，再表现出较低级别的抽象兴趣。在注意力网络中建模这种兴趣层次可以从根本上改进用户行为的表示。因此，我们提出对 DIN 的改进以建模任意兴趣层次：基于层次注意力网络的深度兴趣网络（DHAN）。在该模型中，在第一注意力层（关注单个物品）上引入多维层次结构，同一维度上的后续注意力层关注建立在较低对应层之上的较高级别层次。为了能够建模多维层次，引入了一种扩展机制来捕捉一对多层次。该设计使 DHAN 能够对不同的层次抽象赋予不同的重要性，从而可以充分捕捉不同维度（例如类别、价格或品牌）上的用户兴趣。为验证我们的模型，将一个简化的 DHAN 应用于点击率（CTR）预测，我们在三个公共数据集上仅按类别进行了两级一维层次的实验。结果表明 DHAN 优于 DIN，AUC 显著提升 12% 至 21%。DHAN 还与另一种建模时间兴趣的最先进模型深度兴趣进化网络（DIEN）进行了比较。简化的 DHAN 相比 DIEN 也获得了 1.0% 至 1.7% 的轻微 AUC 提升。未来的潜在工作可以是结合 DHAN 与 DIEN 来同时建模时间兴趣和层次兴趣。
引用
@article{arxiv.2005.12981,
title = {Deep Interest with Hierarchical Attention Network for Click-Through Rate Prediction},
author = {Weinan Xu and Hengxu He and Minshi Tan and Yunming Li and Jun Lang and Dongbai Guo},
journal= {arXiv preprint arXiv:2005.12981},
year = {2020}
}
备注
4 pages, SIGIR 2020 short paper accepted