基于条件扩散模型的语义保持图像编码
信息论
2024-02-23 v2 math.IT
摘要
语义通信关注的不是传输消息的逐比特恢复，而是通信本身的意义与目标。本文提出一种新颖的语义图像编码方案，在保持图像语义内容的同时，确保编码速率与图像质量之间的良好权衡。所提出的基于条件扩散模型的语义保持图像编码（SPIC）发送端对语义分割图（SSM）和待传输图像的低分辨率版本进行编码。接收端随后使用以 SSM 和低分辨率图像双重为条件的去噪扩散概率模型（DDPM）重建高分辨率图像。数值示例表明，与最先进的（SOTA）方法相比，所提出的 SPIC 在传统率失真权衡与语义相关特征保持之间表现出更好的平衡。代码见 https://github.com/frapez1/SPIC
引用
@article{arxiv.2310.15737,
title = {Semantic-Preserving Image Coding based on Conditional Diffusion Models},
author = {Francesco Pezone and Osman Musa and Giuseppe Caire and Sergio Barbarossa},
journal= {arXiv preprint arXiv:2310.15737},
year = {2024}
}
备注
Accepted at ICASSP 2024