联合传输与去模糊：基于事件的语义通信方法

基于深度学习的联合源信道编码（Joint Source-Channel Coding, JSCC）正成为有效图像传输的有前景技术。然而，大多数现有方法关注传输清晰图像，忽略了因相机晃动或快速移动物体导致的运动模糊等现实挑战。运动模糊常常会降低图像质量，使得传输与重建更加具有挑战性。事件相机以极低延迟异步记录像素强度变化，显示出在运动去模糊任务中巨大的潜力。然而，事件相机产生的海量数据的高效传输仍然是一个重大挑战。本文提出了一种新的 JSCC 框架，用于实现在受限信道带宽下进行模糊图像和事件的联合传输，旨在实现高质量的重建。该方法设计为一种以去模糊任务为导向的 JSCC 系统。由于 RGB 相机和事件相机通过不同模态捕获同一场景，其输出包含共享信息和领域特定信息。为避免重复传输共享信息，我们分别提取并传输其共享信息和领域特定信息。在接收端，通过去模糊解码器处理接收信号以生成清晰图像。此外，我们引入多阶段训练策略以加快所提模型的收敛速度。仿真结果表明，我们的方法在针对运动模糊有效处理方面显著优于现有的基于 JSCC 的图像传输方案。