MambaJSCC: 基于视觉状态空间模型的深度联合源信道编码
信息论
2024-05-07 v1 math.IT
摘要
轻量级高效的深度联合源信道编码（JSCC）是语义通信的关键技术。在本文中，我们设计了一种新颖的JSCC方案，名为MambaJSCC，它利用带有信道自适应的视觉状态空间模型（VSSM-CA）块作为骨干，用于在无线信道上传输图像。VSSM-CA块利用VSSM将二维图像与状态空间集成，使特征提取和编码过程以线性复杂度运行。它还通过一种新提出的CSI嵌入方法纳入信道状态信息（CSI）。该方法在编码器和解码器中部署共享的CSI编码模块，将CSI编码并注入每个VSSM-CA块，提高了单一模型对不同信道条件的适应性。实验结果表明，MambaJSCC不仅优于基于Swin Transformer的JSCC（SwinJSCC），而且显著减少了参数量、计算开销和推理延迟（ID）。例如，在使用相同数量的VSSM-CA块和Swin Transformer块时，MambaJSCC在峰值信噪比（PSNR）上比SwinJSCC获得0.48 dB的增益，同时仅需要53.3%的乘加运算、53.8%的参数和44.9%的推理延迟。
引用
@article{arxiv.2405.03125,
title = {MambaJSCC: Deep Joint Source-Channel Coding with Visual State Space Model},
author = {Tong Wu and Zhiyong Chen and Meixia Tao and Xiaodong Xu and Wenjun Zhang and Ping Zhang},
journal= {arXiv preprint arXiv:2405.03125},
year = {2024}
}
备注
submitted to IEEE conference