ColBERT检索与集合响应评分用于语言模型问答
计算与语言
2024-10-15 v2 信息检索
摘要
领域特定问答对语言模型而言仍具有挑战性，因正确回答问题需要深入的技术知识。这一困难程度对较小的语言模型尤为突出，因为它们的参数容量不如大型模型能编码更多信息。'为电信网络专化的大型语言模型挑战赛'旨在提高Phi-2和Falcon-7B这两款小型语言模型在电信问答中的性能。本文介绍了我们为此挑战构建的问答系统。我们的解决方案分别为Phi-2和Falcon-7B取得了81.9%和57.3%的准确率。我们已公开代码和微调后的模型。
引用
@article{arxiv.2408.10808,
title = {ColBERT Retrieval and Ensemble Response Scoring for Language Model Question Answering},
author = {Alex Gichamba and Tewodros Kederalah Idris and Brian Ebiyau and Eric Nyberg and Teruko Mitamura},
journal= {arXiv preprint arXiv:2408.10808},
year = {2024}
}
备注
7 pages, 2 figures, and 8 tables. This paper has been accepted at the 2024 IEEE Global Communications (GLOBECOM) Workshops