基于 Transformer 的语义通信

在大型语言模型 (LLMs) 中使用的 Transformer 结构作为一种特殊类型的深度神经网络 (DNN)，具有注意力机制，能够识别和突出显示输入数据中最相关的方面。这种能力在解决各种通信挑战方面尤为有益，尤其是在带宽受限的系统中，正确编码相关数据至关重要。在本工作中，我们专门用于输入图像的压缩和紧凑表示，以在传输过程中保留语义信息。通过利用 Transformer 内置的注意力机制，我们创建了一个注意力掩码。该掩码有效地优先处理图像的关键片段进行传输，确保重建阶段聚焦于掩码所突出显示的关键对象。我们的方法显著提高了语义通信的质量，并通过根据数据语义信息内容对编码不同部分进行优化，提高了带宽使用的效率。我们使用 TinyImageNet 数据集评估了所提出框架的有效性，关注重建质量和准确率。我们的评估结果表明，该框架即使在仅传输编码数据的一小部分的情况下，仍能根据预期的压缩率成功保留语义信息。