用于广告推荐的大型基础模型
机器学习
2025-08-22 v1
摘要
在线广告依赖于准确的推荐模型，最近的进展使用预训练的大规模基础模型（Large-scale Foundation Models, LFMs）来捕获用户在多种场景和任务中的通用兴趣。然而，现有方法存在关键局限性：它们仅提取和迁移用户表示，忽略了有价值的物品表示和用户-物品交叉表示；并且它们仅简单地将UR作为下游应用中的特征，这未能弥合上下游差距并忽略了更多的迁移粒度。在本文中，我们提出了LFM4Ads，一个用于广告推荐的全表示多粒度迁移框架。它首先全面迁移UR、IR和CR，即预训练基础模型中所有可用的表示。为了有效利用CR，它识别最佳提取层并将其聚合为可迁移的粗粒度形式。此外，我们通过多粒度机制增强可迁移性：用于特征级迁移的非线性适配器，用于模块级迁移的同构交互模块，以及用于模型级迁移的独立检索。LFM4Ads已成功部署在腾讯工业规模的广告平台上，处理数百亿的日常样本，同时保持TB级别的模型参数和跨越约两千个特征的数十亿稀疏嵌入键。自2024年第四季度投入生产部署以来，LFM4Ads在各种广告场景中实现了10多次成功的生产发布，包括微信朋友圈和视频号等主要场景。这些发布在整个平台实现了2.45%的整体GMV提升，转化为估计数亿美元的年收入增长。
引用
@article{arxiv.2508.14948,
title = {Large Foundation Model for Ads Recommendation},
author = {Shangyu Zhang and Shijie Quan and Zhongren Wang and Junwei Pan and Tianqu Zhuang and Bo Fu and Yilong Sun and Jieying Lin and Jushuo Chen and Xiaotian Li and Zhixiang Feng and Xian Hu and Huiting Deng and Hua Lu and Jinpeng Wang and Boqi Dai and Xiaoyu Chen and Bin Hu and Lili Huang and Yanwen Wu and Yeshou Cai and Qi Zhou and Huang Tang and Chunfeng Yang and Chengguo Yin and Tingyu Jiang and Lifeng Wang and Shudong Huang and Dapeng Liu and Lei Xiao and Haijie Gu and Shu-Tao Xia and Jie Jiang},
journal= {arXiv preprint arXiv:2508.14948},
year = {2025}
}