SwiftPruner:面向高效广告相关性的强化进化剪枝

广告相关性建模在包括 Microsoft Bing 在内的在线广告系统中起着关键作用。为在此低延迟场景下利用 BERT 等强大 transformer,许多现有方法离线执行广告侧计算。尽管高效,这些方法无法服务冷启动广告,导致对此类广告的相关性预测较差。本工作旨在通过网络结构化剪枝设计一种新的低延迟 BERT,以在 CPU 平台上赋能冷启动广告相关性的实时在线推理。我们的挑战在于,先前方法通常将 transformer 所有层剪枝至较高的均匀稀疏度,从而产生的模型无法在可接受的准确率下达到满意的推理速度。本文中,我们提出 SwiftPruner——一个利用基于进化的搜索、在期望延迟约束下自动寻找性能最佳的逐层稀疏 BERT 模型的高效框架。不同于进行随机变异的现有进化算法,我们提出一种带延迟感知多目标奖励的强化变异器,以进行更好的变异,从而高效搜索逐层稀疏模型的大空间。大量实验表明,我们的方法一致地取得比均匀稀疏基线和 SOTA 搜索方法更高的 ROC AUC 与更低延迟。显著地,在 CPU 上 1900us 的延迟要求下,SwiftPruner 在大规模真实数据集上对于 BERT-Mini 比 SOTA 均匀稀疏基线取得高 0.86% 的 AUC。在线 A/B 测试显示,我们的模型还以令人满意的实时服务延迟实现了缺陷冷启动广告比例显著下降 11.7%。