打破长度壁垒：长文本用户行为中 LLM 增强的 CTR 预测
信息检索
2024-03-29 v1 人工智能
摘要
随着大语言模型（LLM）的兴起，最近的工作利用 LLM 来提高点击率（CTR）预测的性能。然而，我们认为在实际应用中部署 LLM 仍存在一个关键障碍：LLM 在处理长文本用户行为时的效率。随着用户序列变长，LLM 当前的效率不足以对数十亿用户和物品进行训练。为了突破 LLM 的效率壁垒，我们提出行为聚合分层编码（BAHE）以增强基于 LLM 的 CTR 建模的效率。具体而言，BAHE 提出了一种新颖的分层架构，将用户行为的编码与行为间交互解耦。首先，为了防止重复编码相同用户行为带来的计算冗余，BAHE 利用 LLM 预训练的浅层从大量用户序列中提取最细粒度的原子用户行为的嵌入，并将其存储在离线数据库中。随后，LLM 更深层的可训练层促进复杂的行为间交互，从而生成全面的用户嵌入。这种分离使得高层用户表示的学习独立于低层行为编码，显著降低了计算复杂度。最后，这些精炼的用户嵌入连同相应处理的物品嵌入一起被纳入 CTR 模型以计算 CTR 分数。广泛的实验结果表明，对于使用 LLM 的 CTR 模型，BAHE 将训练时间和内存减少了五倍，尤其是在用户序列更长的情况下。BAHE 已部署在真实系统中，允许在 8 个 A100 GPU 上每日更新 5000 万条 CTR 数据，使 LLM 在工业级 CTR 预测中变得实用。
引用
@article{arxiv.2403.19347,
title = {Breaking the Length Barrier: LLM-Enhanced CTR Prediction in Long Textual User Behaviors},
author = {Binzong Geng and Zhaoxin Huan and Xiaolu Zhang and Yong He and Liang Zhang and Fajie Yuan and Jun Zhou and Linjian Mo},
journal= {arXiv preprint arXiv:2403.19347},
year = {2024}
}
备注
Accepted by the 47th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR), 2024