CASC：基于潜在扩散模型的条件感知语义通信
图像与视频处理
2024-11-12 v1
摘要
基于扩散的语义通信方法通过利用扩散模型的生成能力在图像传输中展现了显著优势。然而，它们仍面临挑战，包括导致失真重建的生成随机性以及高计算复杂度。为解决这些问题，我们提出了 CASC，一个基于潜在扩散模型（LDM）去噪器的条件感知语义通信框架。接收端的 LDM 去噪器利用接收到的噪声潜在编码作为条件信号来重建潜在编码，使解码器能够精确恢复源图像。通过在潜在空间中运作，LDM 相较于传统扩散模型（DM）降低了计算复杂度。此外，我们引入了一种条件感知神经网络（CAN），可根据条件信号动态调整 LDM 隐藏层中的权重。这使得对生成过程进行更精细的控制，显著提升了重建图像的感知质量。实验结果表明，CASC 在感知质量和视觉效果方面均显著优于 DeepJSCC。此外，CASC 相较于现有的基于 DM 的语义通信系统将推理时间减少了 51.7%，同时保持了可比的感知性能。消融实验也验证了 CAN 模块在提升图像重建质量方面的有效性。
引用
@article{arxiv.2411.06552,
title = {CASC: Condition-Aware Semantic Communication with Latent Diffusion Models},
author = {Weixuan Chen and Qianqian Yang},
journal= {arXiv preprint arXiv:2411.06552},
year = {2024}
}