面向 3GPP 标准的长上下文支持微调检索增强生成
计算与语言
2025-01-17 v2 网络与互联网体系结构
摘要
最近的研究表明，大语言模型（LLM）在电信领域的技术标准方面存在困难。我们提出一种基于 Phi-2 小型语言模型（SLM）的微调检索增强生成（RAG）系统，作为通信网络的 oracle。我们开发的系统利用前瞻语义分块技术，基于嵌入相似度自适应确定解析断点，有效处理多样化文档格式。为了应对技术标准中多个相似上下文的挑战，我们采用重新排序算法以优先排序最相关的检索块。鉴于 Phi-2 小上下文窗口的局限性，我们实施最近的技术——SelfExtend，以在推理期间扩展上下文窗口，这不仅提升了性能，也能容纳更广泛的用户查询和来自面向专业技术人员的客户设计需求。对于微调，我们利用低秩适应（LoRA）技术来增强训练期间的计算效率，并能够在小数据集上进行有效微调。我们的全面实验表明，在电信领域显著优于现有问答方法，甚至超过如 GPT-4 这样的大型语言模型（规模约为 880 倍）。本工作提出了一种新方法，利用 SLM 为通信网络提供一种效率与性能之间的平衡。本工作可作为面向网络智能体的语言模型的基础。
引用
@article{arxiv.2408.11775,
title = {Leveraging Fine-Tuned Retrieval-Augmented Generation with Long-Context Support: For 3GPP Standards},
author = {Omar Erak and Nouf Alabbasi and Omar Alhussein and Ismail Lotfi and Amr Hussein and Sami Muhaidat and Merouane Debbah},
journal= {arXiv preprint arXiv:2408.11775},
year = {2025}
}
备注
submitted to Proc. IEEE Globecom