CADET：基于解码器-only Transformer 的上下文条件化广告点击率预测
机器学习
2026-02-13 v1
摘要
点击率 (CTR) 预测是在线广告系统的基本问题。虽然基于显式特征交互的深度学习推荐模型 (DLRM) 长期主导这一领域，但最近在内容推荐中出现的生成式推荐器显示出有前景的效果。然而，将这些基于 Transformer 的架构适应广告 CTR 预测仍面临独特挑战，包括处理后评分上下文信号、保持离线-在线一致性以及扩展到工业级工作负载。我们提出 CADET (Context-Conditioned Ads Decoder-Only Transformer)，一个用于广告 CTR 预测的端到端解码器-only Transformer，已在 LinkedIn 上部署。我们的方法引入了几个关键创新：(1) 具备上下文条件化解码架构的多塔预测头，显式建模后评分信号如广告位置，解决了预测 CTR 与排序之间的鸡生蛋问题；(2) 自门控注意力机制通过自适应调节信息流在表示和交互水平上稳定训练；(3) 基于时间戳的旋转位置嵌入 (RoPE) 变体捕捉从秒级到月级的时序关系；(4) 会话掩码策略防止模型学习对不可用于现场事件的依赖，解决 train-serve skew；(5) 生产工程技术包括张量打包、序列分块和自定义 Flash Attention 内核，实现大规模训练和推理的高效。
引用
@article{arxiv.2602.11410,
title = {CADET: Context-Conditioned Ads CTR Prediction With a Decoder-Only Transformer},
author = {David Pardoe and Neil Daftary and Miro Furtado and Aditya Aiyer and Yu Wang and Liuqing Li and Tao Song and Lars Hertel and Young Jin Yun and Senthil Radhakrishnan and Zhiwei Wang and Tommy Li and Khai Tran and Ananth Nagarajan and Ali Naqvi and Yue Zhang and Renpeng Fang and Avi Romascanu and Arjun Kulothungun and Deepak Kumar and Praneeth Boda and Fedor Borisyuk and Ruoyan Wang},
journal= {arXiv preprint arXiv:2602.11410},
year = {2026}
}