在生产系统中部署基于 BERT 的查询-标题相关性分类器：一线视角
计算与语言
2021-08-24 v1 统计计算
摘要
来自 Transformer 的双向编码器表示（BERT）模型已从根本上提升了许多自然语言处理（NLP）任务的性能，例如文本分类和命名实体识别（NER）应用。然而，由于其庞大的规模，为低延迟和高吞吐量的工业用例扩展 BERT 具有挑战性。我们通过一个紧凑模型成功优化了用于部署的查询-标题相关性（QTR）分类器，我们将其命名为 BERT 双向长短期记忆（BertBiLSTM）。该模型能够在 CPU 上最多 0.2ms 内完成一次输入推理。在上述真实世界生产任务中，BertBiLSTM 在准确性和效率方面均超过了现成的 BERT 模型。我们分两个阶段实现了这一结果。首先，我们创建了一个名为 eBERT 的预训练模型，它是使用我们独特的商品标题语料库训练的原始 BERT 架构。然后，我们针对 QTR 任务微调 eBERT。其次，我们通过一个称为知识蒸馏（KD）的过程训练 BertBiLSTM 模型来模仿 eBERT 模型的性能，并展示了数据增强在实现相似目标方面的效果。实验结果表明，所提出的模型优于其他紧凑且生产就绪的模型。
引用
@article{arxiv.2108.10197,
title = {Deploying a BERT-based Query-Title Relevance Classifier in a Production System: a View from the Trenches},
author = {Leonard Dahlmann and Tomer Lancewicki},
journal= {arXiv preprint arXiv:2108.10197},
year = {2021}
}