用于提升电信领域问答任务性能的 RAG 中的二分 K 均值
信息检索
2025-02-28 v1
摘要
电信领域的问答任务在文献中仍相对不足，主要due于该领域快速变化和不断演变的标准。本文提出一种 novel 检索增强生成 (Retrieval-Augmented Generation, RAG) 框架，专为电信领域设计，聚焦由 3GPP 文档构成的数据集。该框架引入二分 K 均值 (Bisecting K-Means) 聚类技术对嵌入向量进行组织，以实现更高效的信息检索。通过该聚类技术，系统可预筛选出与用户查询最相似的子集聚类，从而提升检索信息的相关性。旨在降低推理阶段的计算成本，本框架采用小型语言模型进行测试，实验证明在 phi-2 和 phi-3 微调模型上分别实现了 66.12% 和 72.13% 的准确率，并显著缩短训练时间。
引用
@article{arxiv.2502.20188,
title = {Bisecting K-Means in RAG for Enhancing Question-Answering Tasks Performance in Telecommunications},
author = {Pedro Sousa and Cláudio Klautau Mello and Frank B. Morte and Luis F. Solis Navarro},
journal= {arXiv preprint arXiv:2502.20188},
year = {2025}
}
备注
6 pages, 8 figures, accepted at GLOBECOM WORKSHOPS 2024