QUILL：基于检索增强与多阶段蒸馏的大语言模型查询意图理解
计算与语言
2022-10-31 v1 信息检索
摘要
大语言模型（LLMs）在各种文本理解任务上展现出了令人印象深刻的成果。然而，搜索查询由于其简短且缺乏细微差别或上下文，构成了独特的挑战。复杂的特征工程努力并不总是带来下游性能提升，因为其收益可能被知识蒸馏复杂度的增加所抵消。因此，在本文中我们做出如下贡献：（1）我们证明对查询进行检索增强（Retrieval Augmentation）可为 LLMs 提供有价值的额外上下文，从而提升理解能力。尽管检索增强通常会增加语言模型的延迟（从而损害蒸馏效果），（2）我们提供了一种实用且有效的蒸馏检索增强 LLMs 的方法。具体而言，我们采用了一种新颖的两阶段蒸馏方法，使我们能够保留检索增强带来的收益，而无需承受通常与之相关的计算量增加。（3）我们在一个十亿规模的实际查询理解系统上展示了所提方法（QUILL）的优势，带来了巨大收益。通过大量实验（包括公开基准测试），我们认为本工作为检索增强查询理解的实际应用提供了一套方法。
引用
@article{arxiv.2210.15718,
title = {QUILL: Query Intent with Large Language Models using Retrieval Augmentation and Multi-stage Distillation},
author = {Krishna Srinivasan and Karthik Raman and Anupam Samanta and Lingrui Liao and Luca Bertelli and Mike Bendersky},
journal= {arXiv preprint arXiv:2210.15718},
year = {2022}
}
备注
EMNLP 2022 Industry Track