超越自洫：基于损失平衡扰动正则化的工业级广告排序
信息检索
2025-02-27 v1 人工智能
机器学习
摘要
扰动正则化技术在工业级大模型中解决许多挑战，尤其针对稀疏标签，强调模型预测中对扰动的一致性和不变性。其中一种流行的正则化技术是各种形式的自洫（self-consistency），它通过对输入数据进行小幅修改以保留上下文信息，并通过辅助损失函数强制生成相似的预测。在本工作中，我们探索了扰动正则化算法在大规模广告排序模型中的首次成功应用，进而提出一种新型正则化算法，即基于损失平衡的小扰动正则化（Loss-Balanced Small Perturbation Regularization, LSPR），其可用于任何深度学习模型。我们成功证明了自洫正则化方法（SCR）和LSPR都具有可扩展性，并且可以改进广告投放系统。通过进行工业级实验和数值分析，我们进一步表明，所提出的LSPR在各种组别和信号可用性设置下均优于SCR。最后，我们报告了LSPR在千亿级工业排序系统中的成功应用，这在我们知识中是首次，特别是为了解决本文中提到的各种可扩展性挑战（如各种展表面、地理位置、客户等）。
引用
@article{arxiv.2502.18478,
title = {Beyond Self-Consistency: Loss-Balanced Perturbation-Based Regularization Improves Industrial-Scale Ads Ranking},
author = {Ilqar Ramazanli and Hamid Eghbalzadeh and Xiaoyi Liu and Yang Wang and Jiaxiang Fu and Kaushik Rangadurai and Sem Park and Bo Long and Xue Feng},
journal= {arXiv preprint arXiv:2502.18478},
year = {2025}
}