通过自监督预训练提高转化率预测——基于在线广告的研究

转化率（CVR）预测是在线广告系统中用于优化出价以满足广告主绩效需求的核心任务。尽管近年来深度神经网络的兴起，但在实际商业场景中，尤其关注推断延迟的场景下，这些预测仍常由因子分解机（FM）完成。这些模型基于标记的表格数据进行训练，数据来源于与当前任务相关的用户历史活动。许多广告主仅关注点击归因的转化。训练预测点击后转化的模型面临数据稀疏性挑战——点击本身稀有，归因于点击的转化更为罕见。 however, 通过添加非点击归因的转化来缓解稀疏性会损害模型的校准效果。由于校准是实现广告主目标的关键，这种做法不可行。本文采用自监督预训练的经典思路，使用基于所有转化事件（包括点击归因和非点击归因）训练的自编码器作为特征提取器，以丰富主模型的特征。由于主模型不训练非点击归因的转化，这不会损害校准效果。我们将基础自监督预训练思路适用于在线广告场景，设计针对表格数据的损失函数，确保自编码器稳定性以实现持续学习，并在严格的延迟约束下将神经网络集成到大规模实时广告拍卖系统中，对系统排名数万条广告，同时不增加显著的工程成本。我们在离线训练阶段以及在线A/B测试中均展示了性能提升。该方案在A/B测试成功后，已全面部署至Yahoo原生广告系统。