QUPID：面向韩文搜索引擎的量化理解
计算与语言
2025-05-13 v1 人工智能
信息检索
摘要
大型语言模型(LLM)已广泛用于信息检索中的相关性评估。然而,我们的研究表明,将两种具有不同架构的小型语言模型(SLM)组合,在此任务上可超越LLM。我们的做法-QUPID-将生成式SLM与基于嵌入的SLM集成,在提高相关性判断准确性的同时,相较于最先进的LLM解决方案还能降低计算成本。这种计算效率使QUPID在处理每日数百万查询的实际搜索系统中具有高度可扩展性。在多样化文档类型实验中,我们的方法在相关性评估上实现了持续的性能提升(Cohen's Kappa 为 0.646,而领先的LLM为 0.387),同时实现了60倍的推理速度加速。进一步地,当QUPID集成到生产级搜索管道中时,可使nDCG@5分数提升1.9%。这些发现凸显了模型组合中架构多样性对信息检索系统搜索相关性和操作效率的显著提升。
引用
@article{arxiv.2505.07345,
title = {QUPID: Quantified Understanding for Enhanced Performance, Insights, and Decisions in Korean Search Engines},
author = {Ohjoon Kwon and Changsu Lee and Jihye Back and Lim Sun Suk and Inho Kang and Donghyeon Jeon},
journal= {arXiv preprint arXiv:2505.07345},
year = {2025}
}