GPR：面向大规模广告推荐的生成式预训练一模型范式
经典分析与常微分方程
2025-11-14 v1
摘要
作为连接用户与商业内容的智能基础设施，广告推荐系统在信息流和价值创造中扢演核心角色。然而，现有的多阶段广告推荐系统存在目标错位和误差传播，难以实现全局最优；而统一的生成式推荐模型仍难满足实际工业应用的需求。为此，我们提出了 GPR (Generative Pre-trained Recommender)，首个将广告推荐定义为端到端生成任务的单模型框架，取代了传统的级联范式，采用统一的生成方法。为实现 GPR，我们在统一表示、网络架构和训练策略三个方面引入了关键创新。首先，我们设计了针对广告场景的统一输入模式和 tokenization 方法，将广告和有机内容映射到共享的多层语义 ID 空间，从而增强了跨异构数据的语义对齐和建模一致性。其次，我们开发了异构层次解码器 (HHD)，一种双解码器架构，将用户意图建模与广告生成解耦，在保持强建模能力的同时实现训练效率与推理灵活性之间的平衡。最后，我们提出了多阶段联合训练策略，集成 Multi-Token Prediction (MTP)、Value-Aware Fine-Tuning 和 Hierarchy Enhanced Policy Optimization (HEPO) 算法，形成统一建模、价值对齐和策略优化的完整生成式推荐管线。GPR 已在腾讯微信频道广告系统中全面部署，显著改善了包括 GMV 和 CTCVR 在内的关键业务指标。
引用
@article{arxiv.2511.10137,
title = {Smooth extensions of Sobolev boundary data in corkscrew domains with uniformly rectifiable boundaries},
author = {Jonas Azzam and Mihalis Mourgoglou and Michele Villa},
journal= {arXiv preprint arXiv:2511.10137},
year = {2025}
}
备注
This articles comes from the preprint arXiv:2306.13017, which we split in two for readability's sake