统一知识蒸馏与半监督学习框架：提升工业广告投放系统
机器学习
2025-02-12 v1 人工智能
摘要
工业广告排序系统通常依赖标记的展示数据，导致存在过拟合、模型规模增益增缓以及因训练与服务数据差异导致的偏见等挑战。为克服这些问题，我们提出一种统一的知识蒸馏与半监督学习框架 (UKDSL) 用于广告排序，使模型能够在显著更大且更加多样化的数据集上进行训练，从而减少过拟合并缓解训练-服务数据之间的差异。我们对多阶段排序系统固有的失校准和预测偏差进行了详细的形式化分析和数值模拟，并展示了该框架缓解这些问题的实证证据。相较于先前工作，UKDSL 能够让模型从更大范围的未标记数据中学习，从而在保持计算效率的同时提升性能。最后，我们报告了 UKDSL 在工业部署中的成功案例，规模覆盖多数排序模型，在各种排序 surface、地理位置、客户和事件上为数十亿用户服务，这在规模和效率方面据称是首次实现。
引用
@article{arxiv.2502.06834,
title = {A Unified Knowledge-Distillation and Semi-Supervised Learning Framework to Improve Industrial Ads Delivery Systems},
author = {Hamid Eghbalzadeh and Yang Wang and Rui Li and Yuji Mo and Qin Ding and Jiaxiang Fu and Liang Dai and Shuo Gu and Nima Noorshams and Sem Park and Bo Long and Xue Feng},
journal= {arXiv preprint arXiv:2502.06834},
year = {2025}
}