用于在语义层面衡量视觉相似性的语义相似度评分
计算机视觉与模式识别
2024-07-11 v2 人工智能
摘要
语义通信作为一种革命性的通信架构，被认为是一种有前景的新型通信范式。与传统的基于符号的无差错通信系统不同，基于语义的视觉通信系统在语义层面提取、压缩、传输和重建图像。然而，广泛使用的图像相似性评估指标，无论是基于像素的MSE或PSNR，还是基于结构的MS-SSIM，都难以准确衡量系统传输过程中源图像语义层面信息的损失。这给评估视觉语义通信系统的性能带来了挑战，尤其是在与传统通信系统进行比较时。为解决此问题，我们提出了一种基于场景图生成和图匹配的语义评估指标——SeSS（语义相似度评分），它将图像间的相似度分数转化为语义层面的图匹配分数。同时，我们手动标注了数万对图像的语义相似度分数，以微调图匹配算法中的超参数，使该指标更接近人类的语义感知。我们在不同数据集上测试了SeSS的性能，包括：(1) 传统和语义通信系统在不同压缩率下传输的图像，(2) 传统和语义通信系统在不同信噪比下传输的图像，(3) 大规模模型生成并引入不同噪声水平的图像，以及(4) 经历某些特殊变换的图像案例。实验证明了SeSS的有效性，表明该指标能够衡量图像语义层面信息的差异，并可用于视觉语义通信系统的评估。
引用
@article{arxiv.2406.03865,
title = {Semantic Similarity Score for Measuring Visual Similarity at Semantic Level},
author = {Senran Fan and Zhicheng Bao and Chen Dong and Haotai Liang and Xiaodong Xu and Ping Zhang},
journal= {arXiv preprint arXiv:2406.03865},
year = {2024}
}