基于知识库的语义图像传输
计算机视觉与模式识别
2026-03-27 v1 人工智能
摘要
本文提出了一种 novel 的知识库（KB）辅助语义通信框架，用于图像传输。在接收端，作者构建了一个基于 FAISS 的向量数据库，通过使用对比语言-图像预训练（CLIP）模型从图像中提取语义嵌入。在传输过程中，发射端首先使用 CLIP 模型提取 512 维的语义特征，然后通过轻量级神经网络进行压缩进行传输。接收端接收信号后，将特征恢复至 512 维，并在 KB 中执行相似性匹配，以检索出最语义上相似的图像。语义传输成功通过传输图像与检索图像之间的类别一致性来确定，而非传统度量如峰值信噪比（PSNR）。该系统优先考虑语义准确性，为语义感知通信系统提供了新的评估范式。在 CIFAR100 上的实验验证表明，该框架在实现语义图像传输方面有效。
引用
@article{arxiv.2504.01053,
title = {Knowledge-Base based Semantic Image Transmission Using CLIP},
author = {Chongyang Li and Yanmei He and Tianqian Zhang and Mingjian He and Shouyin Liu},
journal= {arXiv preprint arXiv:2504.01053},
year = {2026}
}