TWIN：快手点击率预测中面向终身用户行为建模的两阶段兴趣网络
信息检索
2023-06-28 v2
摘要
终身用户行为建模，即从数月甚至数年的丰富历史行为中提取用户隐藏兴趣，在现代点击率（CTR）预测系统中扮演着核心角色。传统算法大多遵循两个级联阶段：一个简单的通用搜索单元（General Search Unit, GSU）用于对成千上万条长期行为进行快速粗筛，以及一个精确搜索单元（Exact Search Unit, ESU）用于对GSU筛选出的少量候选行为进行有效的目标注意力（Target Attention, TA）计算。尽管效率较高，现有算法大多存在一个关键局限：GSU与ESU之间的目标-行为相关性度量不一致。结果，其GSU通常会遗漏高度相关的行为，却检索出被ESU视为不相关的行为。在这种情况下，无论注意力如何分配，ESU中的TA大多偏离了真实的用户兴趣，从而降低了整体CTR预测精度。为解决这种不一致性，我们提出了两阶段兴趣网络（TWo-stage Interest Network, TWIN），其中我们的一致性保持GSU（Consistency-Preserved GSU, CP-GSU）采用与ESU中的TA相同的目标-行为相关性度量，使两个阶段成为孪生结构。具体而言，为打破TA的计算瓶颈并将其从ESU扩展到GSU，即从行为长度扩展到，我们通过行为特征拆分构建了一种新颖的注意力机制。对于行为的视频固有特征，我们通过高效的预计算和缓存策略计算其线性投影。对于用户-物品交叉特征，我们将每个特征压缩为注意力分数计算中的一个一维偏置项以节省计算成本。两阶段间的一致性，加上CP-GSU中基于TA的有效相关性度量，共同为CTR预测带来了显著的性能提升。
引用
@article{arxiv.2302.02352,
title = {TWIN: TWo-stage Interest Network for Lifelong User Behavior Modeling in CTR Prediction at Kuaishou},
author = {Jianxin Chang and Chenbin Zhang and Zhiyi Fu and Xiaoxue Zang and Lin Guan and Jing Lu and Yiqun Hui and Dewei Leng and Yanan Niu and Yang Song and Kun Gai},
journal= {arXiv preprint arXiv:2302.02352},
year = {2023}
}
备注
Accepted by KDD 2023