基于视觉Transformer的语义通信与重要性感知量化

语义通信通过无线信道传输任务相关的语义特征，相比传统通信提供了显著的性能提升。然而，大多数现有研究依赖神经网络编码器和解码器的端到端训练，以确保这些语义特征的有效传输。为了在不依赖端到端训练的情况下实现语义通信，本文提出了一种基于视觉Transformer的语义通信系统，结合重要性感知量化，用于无线图像传输。所提出系统的核心思想是利用预训练ViT模型的注意力分数来量化图像块的重要性水平。基于这一思想，我们的IAQ框架根据图像块的重要性水平分配不同的量化比特。这通过构建一个加权量化误差最小化问题来实现，其中权重设置为注意力分数的增函数。然后，设计了一种最优增量分配方法和一种低复杂度注水法来求解所构建的问题。我们的框架还通过基于等效二元对称信道模型修改比特分配问题和相应的分配方法，扩展到了真实的数字通信系统。在单视角和多视角图像分类任务上的仿真表明，我们的IAQ框架在无误差和真实通信场景下均优于传统图像压缩方法。