一种面向多模态数据的统一多任务语义通信系统
信号处理
2024-06-11 v3
摘要
面向任务的语义通信已取得显著的性能增益。然而，语义通信中所采用的深度神经网络在任务变更时必须更新，或需存储多个模型以执行不同任务。为解决此问题，我们开发了统一深度学习赋能的语义通信系统(U-DeepSC)，其中统一端到端框架可服务于多种不同任务及多模态数据。由于不同任务所需特征数量各异，我们提出一种向量级动态方案，可针对不同任务调整传输符号的数量。此外，我们的动态方案还能在不同信道条件下自适应调整传输特征的数量以优化传输效率。特别地，我们设计了一个轻量级特征选择模块(FSM)来评估特征向量的重要性，其可分层丢弃冗余特征向量并显著加速推理。为降低传输开销，我们进而设计了一个统一码本用于特征表示以服务多任务，其中仅传输这些任务特定特征在码本中的索引。根据仿真结果，所提出的U-DeepSC取得了与为特定任务设计的面向任务的语义通信系统相当的性能，但在传输开销与模型尺寸上均大幅降低。
引用
@article{arxiv.2209.07689,
title = {A Unified Multi-Task Semantic Communication System for Multimodal Data},
author = {Guangyi Zhang and Qiyu Hu and Zhijin Qin and Yunlong Cai and Guanding Yu and Xiaoming Tao},
journal= {arXiv preprint arXiv:2209.07689},
year = {2024}
}