TeleOracle：面向网络的长上下文支持微调检索增强生成
计算与语言
2024-11-06 v1 机器学习
网络与互联网体系结构
摘要
电信行业的快速演进需要智能系统能够管理复杂网络并适应新兴技术。虽然大型语言模型（LLM）在应对这些挑战方面显示出前景，但在电信环境中部署面临显著约束，主要由于边缘设备限制和文档不一致。为弥合这一差距，我们提出TeleOracle，一个建立在Phi-2小型语言模型（SLM）上的电信专用检索增强生成（RAG）系统。为提高上下文检索效果，TeleOracle采用包含语义分块和混合关键词与语义搜索的双阶段检索器。此外，我们在推理期间扩大上下文窗口以增强模型在开放式查询上的性能。我们还采用低秩适配进行高效微调。对模型性能的全面分析表明，我们的RAG框架在下游问答任务中有效地将Phi-2对齐至电信领域，准确率比基础Phi-2模型提升30%，达到81.20%。值得注意的是，我们表明该模型不仅在规模更大的LLM上表现相当，还获得了更高的忠诚度分数，表明其对检索上下文的遵循程度更高。
引用
@article{arxiv.2411.02617,
title = {TeleOracle: Fine-Tuned Retrieval-Augmented Generation with Long-Context Support for Network},
author = {Nouf Alabbasi and Omar Erak and Omar Alhussein and Ismail Lotfi and Sami Muhaidat and Merouane Debbah},
journal= {arXiv preprint arXiv:2411.02617},
year = {2024}
}