利用MoE架构的大型语言模型实现零样点多任务语义通信
信号处理
2025-03-24 v2
摘要
多任务语义通信（SC）可减少无线系统中的计算资源，因为无需在切换任务时进行重新训练。然而，现有方法通常依赖于任务特定的嵌入来识别 intended 任务的能力，这需要在给定新任务时重新训练整个模型。因此，这驱动了需要能够在无需额外训练的情况下处理新任务的多任务SC系统，称为零样学习。受大型语言模型（LLM）优异零样能力的启发，我们利用预训练的指令调优LLM（称为细化语言网络（FLAN））来提高泛化能力。我们在FLAN模型中采用混合专家（MoE）架构，并提出MoE-FLAN-SC架构用于多任务SC系统。我们提出的MoE-FLAN-SC架构能够在不增加计算成本的情况下进一步提高FLAN-T5模型的性能。此外，我们设计了一个多任务特征提取模块（FEM），可在提供特征和信噪比（SNR）的情况下，适应性地提取各种任务相关特征。仿真结果表明，我们提出的MoE-FLAN-SC架构在四个不同未见任务上的平均准确率均优于三种最先进模型。
引用
@article{arxiv.2503.15722,
title = {Leveraging MoE-based Large Language Model for Zero-Shot Multi-Task Semantic Communication},
author = {Sin-Yu Huang and Renjie Liao and Vincent W. S. Wong},
journal= {arXiv preprint arXiv:2503.15722},
year = {2025}
}
备注
Accepted by IEEE International Conference on Communications (ICC), June 2025, Montreal, Canada