RRADistill：蒸馏大语言模型的长尾查询段落排序能力用于搜索引擎文档重排序
信息检索
2024-11-22 v3 人工智能
机器学习
摘要
大语言模型（LLMs）擅长理解查询与文档之间的语义关系，即使对于冗长复杂的长尾查询也是如此。由于用户参与稀疏且反馈有限，这些查询对基于反馈的排序构成挑战，因此LLMs的排序能力极具价值。然而，LLMs的大尺寸和慢推理速度促使开发更小、更高效的模型（sLLMs）。最近，将排序标签生成融入蒸馏技术变得至关重要，但现有方法未能充分利用LLMs的能力且过程繁琐。我们的研究RRADistill：重排序能力蒸馏，提出了一种高效的标签生成流程以及针对编码器和解码器模型的新型sLLM训练方法。我们引入了一种基于编码器的方法，使用术语控制层来捕获术语匹配信号，以及一种基于解码器的模型，带有排序层以增强理解。在基于韩语的搜索平台上进行的A/B测试验证了我们的方法在改进长尾查询重排序方面的有效性。
引用
@article{arxiv.2410.18097,
title = {RRADistill: Distilling LLMs' Passage Ranking Ability for Long-Tail Queries Document Re-Ranking on a Search Engine},
author = {Nayoung Choi and Youngjune Lee and Gyu-Hwung Cho and Haeyu Jeong and Jungmin Kong and Saehun Kim and Keunchan Park and Sarah Cho and Inchang Jeong and Gyohee Nam and Sunghoon Han and Wonil Yang and Jaeho Choi},
journal= {arXiv preprint arXiv:2410.18097},
year = {2024}
}
备注
Accepted to EMNLP 2024 Industry Track. First two authors contributed equally