使用预训练语言模型的语义重要性感知通信
信号处理
2023-07-10 v2
摘要
本快报提出了一种使用预训练语言模型（例如 ChatGPT、BERT 等）的语义重要性感知通信（SIAC）方案。具体而言，我们提出了一种跨层设计，其中预训练语言模型嵌入或由跨层管理器连接。该预训练语言模型用于量化数据帧的语义重要性。基于量化的语义重要性，我们研究了语义重要性感知的功率分配。与现有的基于深度联合信源信道编码（Deep-JSCC）的语义通信方案不同，SIAC 仅通过引入一个跨层管理器即可直接嵌入当前通信系统。我们的实验结果表明，所提出的 SIAC 方案可比现有的等优先级通信实现更低的语义损失。
引用
@article{arxiv.2302.07142,
title = {Semantic Importance-Aware Communications Using Pre-trained Language Models},
author = {Shuaishuai Guo and Yanhu Wang and Shujing Li and Nasir Saeed},
journal= {arXiv preprint arXiv:2302.07142},
year = {2023}
}
备注
Accepted by IEEE Communications Letters, Semantic communications, pre-trained language model, ChatGPT, BERT, data importance