面向3GPP技术规范检索的混合数据集Telco-DPR
信息检索
2024-10-29 v1 计算与语言
机器学习
网络与互联网体系结构
摘要
本文提出了一个针对电信领域的问答系统，利用第3代合作伙伴计划（3GPP）技术文件。同时，本文介绍了混合数据集Telco-DPR，包含一套精选的3GPP语料库，其格式为混合形式，结合了文本和表格。此外，该数据集包括一组合成问答对，用于评估在此类数据上的问答系统检索性能。我们评估并比较了包括稀疏模型、最佳匹配25（BM25）以及稠密模型，如稠密 passages 检索器（DPR）和稠密层次检索（DHR）在内的检索模型，采用Top-K准确率和平均倒数排名（MRR）进行评估。结果表明，DHR——一种利用在文档和段落级别进行微调以实现层次化 passages 选择的检索器——在检索相关技术信息方面优于传统方法，实现了86.2%的Top-10准确率。此外，评估了检索增强生成（RAG）技术，用于演示使用混合数据集和DHR的益处。该提出的问答系统使用开发的RAG模型和生成式预训练变换器（GPT）-4，相对于同一数据集上的以前基准实现了14%的答案准确率提升。
引用
@article{arxiv.2410.19790,
title = {Telco-DPR: A Hybrid Dataset for Evaluating Retrieval Models of 3GPP Technical Specifications},
author = {Thaina Saraiva and Marco Sousa and Pedro Vieira and António Rodrigues},
journal= {arXiv preprint arXiv:2410.19790},
year = {2024}
}