面向 CTR 预测中用户行为建模的卡尔曼滤波注意力
机器学习
2020-10-21 v2 机器学习
摘要
点击率（CTR）预测是电子商务搜索引擎的基础任务之一。随着搜索日益个性化，从丰富的行为数据中捕捉用户兴趣变得必要。现有用户行为建模算法发展出不同的注意力机制，以强调与查询相关的行为并抑制不相关行为。尽管被广泛研究，这些注意力仍存在两方面的局限。首先，传统注意力大多将注意力范围限于单个用户的行为，这不适用于电商场景——用户常寻找与任何历史行为无关的新需求。其次，这些注意力通常偏向高频行为，这并不合理，因为高频未必表示重要性。为应对这两点局限，我们提出一种新颖的注意力机制，称为卡尔曼滤波注意力（KFAtt），将注意力中的加权池化视为最大后验（MAP）估计。通过引入先验，KFAtt 在用户相关行为较少时诉诸全局统计。此外，引入了频率截断机制以纠正对高频行为的偏置。在基准及百亿规模真实生产数据集上的离线实验，连同在线 A/B 测试，表明 KFAtt 优于所有被比较的最优方法。KFAtt 已部署于某领先电商网站的排序系统，每日服务于数亿活跃用户的主要流量。
引用
@article{arxiv.2010.00985,
title = {Kalman Filtering Attention for User Behavior Modeling in CTR Prediction},
author = {Hu Liu and Jing Lu and Xiwei Zhao and Sulong Xu and Hao Peng and Yutong Liu and Zehua Zhang and Jian Li and Junsheng Jin and Yongjun Bao and Weipeng Yan},
journal= {arXiv preprint arXiv:2010.00985},
year = {2020}
}