嵌入表优化与Pinterest广告转化中的多周期训练演进
机器学习
2025-05-12 v1 计算工程、金融与科学
信息检索
应用统计
摘要
深度学习用于转化预测在线广告中得到广泛应用。这些模型变得越来越复杂，以便联合预测点击、加入购物车、结账及其他转化类型的多个目标。此外，嵌入表可以编码广告主、用户、活动和产品标识符（ID）等高基数分类特征，从而增加模型的容量和性能。这些嵌入表可以预训练，也可以与模型一起端到端学习，以直接优化模型目标。由于梯度稀疏性、分类特征的高基数、ID分布非均匀以及标签稀疏性极高，这些大型表格的训练具有挑战性。这些问题使得训练在第一个周期后容易出现慢收敛和过拟合。以前的工作通过使用更强的特征散列来减少基数、过滤低频ID、对嵌入表进行正则化、在每个周期后重新初始化嵌入表等方式来解决多周期过拟合问题。这些技术的某些组合在过度使用时会以牺牲模型性能为代价来减少过拟合。本文分享了Pinterest广告转化模型中嵌入表优化和多周期训练开发中的关键经验。我们展示了稀疏优化器如何加快收敛速度，以及在多任务模型中，不同目标的多周期过拟合严重程度因标签稀疏性而异。我们提出了一种新方法来处理多周期过拟合：在嵌入表上使用频率自适应学习率，并将其与嵌入重新初始化进行比较。我们使用工业大规模生产数据集对这两种方法进行离线评估。
引用
@article{arxiv.2505.05605,
title = {The Evolution of Embedding Table Optimization and Multi-Epoch Training in Pinterest Ads Conversion},
author = {Andrew Qiu and Shubham Barhate and Hin Wai Lui and Runze Su and Rafael Rios Müller and Kungang Li and Ling Leng and Han Sun and Shayan Ehsani and Zhifang Liu},
journal= {arXiv preprint arXiv:2505.05605},
year = {2025}
}