CCoE：面向资源受限场景的紧凑高效多专家协作大语言模型框架
计算与语言
2025-02-18 v4 人工智能
摘要
大型语言模型（LLM）通过在大规模数据集上训练，在众多领域实现了卓越的性能。然而，在资源受限情况下，将LLM扩展以支持多个下游领域应用仍是一个重大挑战，尤其是现有方法往往难以在性能与资源效率之间取得平衡，限制了其更广泛的适用性。为此，我们引入CCoE架构，这是一个模块化框架，无缝集成领域特定专家于统一的大语言模型中。通过利用在共享背板分区上独立训练的专家子网络，CCoE在实现最先进性能的同时，显著降低了多专家部署的资源需求。此外，CCoE中的基于规则的门控机制和专家规划使任务分配更加灵活，促进了专家协作以处理复杂推理任务。CCoE不仅减少了推理成本，还为在多样化应用中整合领域专业知识提供了灵活且可扩展的解决方案。实验表明，在五个领域上，CCoE的性能与当前的领域特定大语言模型持平。而且，与现有的多域模型集成方法相比，CCoE内存使用降低61.3%，推理效率相较于参数高效多专家集成方法提升0.76倍。
引用
@article{arxiv.2407.11686,
title = {CCoE: A Compact and Efficient LLM Framework with Multi-Expert Collaboration for Resource-Limited Settings},
author = {Shaomang Huang and Jianfeng Pan and Min Peng and Hanzhong Zheng},
journal= {arXiv preprint arXiv:2407.11686},
year = {2025}
}