面向点击率预测的高效 LLM 训练范式

大型语言模型（LLM）已显示出作为下一代基于排序的推荐系统的巨大潜力。许多最近的工作表明，LLM 显著优于传统的点击率（CTR）预测方法。尽管如此，当前训练范式中固有的计算效率低下，使得在大数据集上进行基于排序的推荐任务训练 LLM 具有挑战性。为了进行 CTR 预测，现有大多数研究采用流行的“滑动窗口”范式。给定长度为 $m$ 的用户交互序列，为每个交互构建唯一的训练提示，通过将其指定为预测目标以及其前 $n$ 个交互作为上下文。在此基础上，滑动窗口范式导致整体复杂度为 $O(mn^2)$，随用户交互长度线性增长。因此，直接采用此策略训练 LLM 可能会因交互长度增长而导致训练成本高昂。为了缓解计算效率低下，我们提出一种新颖的训练范式，即动态目标隔离（Dynamic Target Isolation, DTI），该范式结构化地并行训练 $k$（其中 $k >> 1$）个目标交互。 Furthermore, we identify two major bottlenecks - hidden-state leakage and positional bias overfitting - that limit DTI to only scale up to a small value of $k$ (e.g., 5) then propose a computationally light solution to effectively tackle each. Through extensive experiments on three widely adopted public CTR datasets, we empirically show that DTI reduces training time by an average of \textbf{92%} (e.g., from $70.5$ hrs to $5.31$ hrs), without compromising CTR prediction performance.