京东广告搜索中基于多专家知识浓缩的更优查询分类方法
信息检索
2023-11-21 v3 人工智能
摘要
搜索查询分类作为理解用户意图的有效手段，在现实在线广告系统中至关重要。为保障较低延迟，浅层模型（如 FastText）被广泛用于高效在线推理。然而，FastText 模型的表征能力不足，导致分类性能欠佳，尤其在一些低频查询与长尾类别上。使用更深且更复杂的模型（如 BERT）是有效解决方案，但会带来更高的在线推理延迟与更昂贵的计算成本。因此，如何兼顾推理效率与分类性能显然具有重要实际意义。为应对该挑战，本文提出知识浓缩（KC），一种简洁而有效的知识蒸馏框架，以在严格低延迟约束下提升在线 FastText 模型的分类性能。具体而言，我们提出训练一个离线 BERT 模型来检索更多潜在相关数据。得益于其强大的语义表征，历史数据中未暴露的更多相关标签将被加入训练集，以更好地训练 FastText 模型。此外，提出一种新颖的分布多样多专家学习策略，以进一步提升相关数据发掘能力。通过从不同数据分布训练多个 BERT 模型，其可分别在高频、中频与低频搜索查询上表现更优。来自多分布的模型集成使其检索能力更为强大。我们已在京东搜索中部署该框架的两个版本，来自多个数据集的离线实验与在线 A/B 测试均验证了所提方法的有效性。
引用
@article{arxiv.2308.01098,
title = {Towards Better Query Classification with Multi-Expert Knowledge Condensation in JD Ads Search},
author = {Kun-Peng Ning and Ming Pang and Zheng Fang and Xue Jiang and Xi-Wei Zhao and Chang-Ping Peng and Zhan-Gang Lin and Jing-He Hu and Jing-Ping Shao},
journal= {arXiv preprint arXiv:2308.01098},
year = {2023}
}