基于知识蒸馏的多用户语义通信
信号处理
2023-12-19 v1 机器学习
摘要
深度学习（DL）在革新传统通信系统方面展现出巨大潜力。通信领域的许多应用因其强大的表征能力已采用 DL 技术。然而，基于学习的方法可能依赖训练数据集，并因模型泛化性与复杂度有限而在未见干扰上表现较差。本文考虑多用户语义通信（SemCom）系统，其中训练样本有限且存在意外干扰。为提升模型泛化能力并缩减模型规模，我们提出一种基于知识蒸馏（KD）的系统，其中基于 Transformer 的编解码器用作语义编解码器，全连接神经网络用作信道编解码器。具体而言，分析了四类知识迁移与模型压缩。考虑了重要的系统与模型参数，包括噪声与干扰水平、干扰用户数量以及编解码器规模。数值结果表明，KD 在应用于意外干扰时显著提升了鲁棒性与泛化能力，并在压缩模型规模时减少了性能损失。
引用
@article{arxiv.2311.13789,
title = {Knowledge Distillation Based Semantic Communications For Multiple Users},
author = {Chenguang Liu and Yuxin Zhou and Yunfei Chen and Shuang-Hua Yang},
journal= {arXiv preprint arXiv:2311.13789},
year = {2023}
}
备注
Accepted by IEEE Transactions on Wireless Communications