通过倒排索引加速语言模型的问答任务
计算与语言
2022-10-26 v1 信息检索
机器学习
摘要
自然语言处理应用（如会话代理及其问答能力）在现实世界中得到了广泛应用。尽管大语言模型 (LLM) 广受欢迎，但很少有现实世界的会话代理利用 LLM。LLM 消耗的大量资源使得开发者无法将其集成到终端用户应用中。在本研究中，我们利用倒排索引机制结合 LLM，以提高封闭领域问答模型的效率。我们的实验表明，使用该索引将平均响应时间提高了 97.44%。此外，由于搜索范围的缩小，在使用倒排索引的同时，平均 BLEU 分数提高了 0.23。
引用
@article{arxiv.2210.13578,
title = {Speeding Up Question Answering Task of Language Models via Inverted Index},
author = {Xiang Ji and Yesim Sungu-Eryilmaz and Elaheh Momeni and Reza Rawassizadeh},
journal= {arXiv preprint arXiv:2210.13578},
year = {2022}
}