SwinJSCC：驯服Swin Transformer用于深度联合信源信道编码
信号处理
2024-07-08 v2
摘要
作为实现语义通信的关键技术之一，端到端优化的神经联合信源信道编码(JSCC)在过去几年取得巨大进展。许多近期工作推动神经JSCC模型自适应性或应用多样性的普遍趋势基于卷积神经网络(CNN)骨干，其模型容量有限，固有地导致相对于传统编码传输系统更差的系统编码增益。本文建立一种新的神经JSCC骨干，也可在单一模型内灵活适应多样信道条件与传输速率，我们的开源项目旨在促进该领域研究。具体而言，我们展示通过精心设计的、基于新兴Swin Transformer骨干构建的神经JSCC编解码器，取得了优于基于CNN构建的传统神经JSCC编解码器的性能，同时所需端到端处理时延更低。配合两个基于信道状态信息与目标传输速率对潜表示进行缩放的空间调制模块，我们的基线SwinJSCC可进一步升级为通用版本，增强其适应多样信道条件与速率配置的能力。大量实验结果表明，我们的SwinJSCC取得了优于或可比于当前最优工程化BPG + 5G LDPC编码传输系统的性能，且端到端编码速度更快，尤其对高分辨率图像——此时传统基于CNN的JSCC因其有限模型容量而落后。
引用
@article{arxiv.2308.09361,
title = {SwinJSCC: Taming Swin Transformer for Deep Joint Source-Channel Coding},
author = {Ke Yang and Sixian Wang and Jincheng Dai and Xiaoqi Qin and Kai Niu and Ping Zhang},
journal= {arXiv preprint arXiv:2308.09361},
year = {2024}
}