ORANSight-2.0：面向 O-RAN 的基础大语言模型

尽管大语言模型（LLM）在医疗保健、客户服务和商业营销等关键领域产生了变革性影响，但其在开放无线接入网络（O-RAN）中的集成仍然有限。这一差距主要源于领域特定基础模型的缺失，现有解决方案往往依赖通用 LLM，无法应对 O-RAN 的独特挑战和技术复杂性。为弥合这一差距，我们提出 ORANSight-2.0（O-RAN 洞察），一项开发专门面向 O-RAN 的基础 LLM 的开创性举措。ORANSight-2.0 基于涵盖五个开源 LLM 框架——Mistral、Qwen、Llama、Phi 和 Gemma——的 18 个模型进行构建，对参数范围从 1B 到 70B 的模型进行微调，显著降低了对专有闭源模型的依赖，同时增强了 O-RAN 特定任务的性能。ORANSight-2.0 的核心是 RANSTRUCT，一种基于检索增强生成（RAG）的新型指令微调框架，它采用两个 LLM 智能体——一个基于 Mistral 的问题生成器和一个基于 Qwen 的答案生成器——来创建高质量的指令微调数据集。生成的数据集随后通过 QLoRA 用于微调 18 个预训练的开源 LLM。为评估 ORANSight-2.0，我们引入了 srsRANBench，一个专为 srsRAN（广泛使用的 5G O-RAN 栈）环境中的代码生成和代码库理解而设计的新型基准。