基于载波图像的数字信号语义通信

大多数现有的语义通信（SemCom）框架聚焦于图像传输，但未解决如何在无语义特征的情况下传输数字信号的问题。本文提出了一种利用图像作为载波信号来传输数字信号的新型SemCom方法。具体而言，所提出的方法将数字信号编码为二进制流，并将其映射到图像上的掩码位置。这使得二进制数据可以可视化，从而可以使用现有的、针对掩码图像重建进行优化的模型——掩码自编码器（MAE）——作为SemCom的编码器和解码器。由于MAE可以同时处理和恢复掩码图像，该方法允许数字信号和图像的联合传输，而不会产生显著的通信开销。此外，考虑到MAE编码的掩码令牌传输仍面临额外开销，我们在发射端设计了一个稀疏编码模块，将掩码令牌编码为稀疏矩阵，并在接收端恢复。因此，该方法只需传输未掩码块的潜在表示和一个稀疏矩阵，进一步降低了与原始MAE编码器相比的传输开销。仿真结果表明，该方法即使在图像的高掩码率下也能保持可靠传输。