超越保真度：低层图像处理中的语义相似性评估
计算机视觉与模式识别
2026-04-29 v1
摘要
长期以来，低层图像处理主要从视觉保真度的角度进行评估。然而，随着深度学习与生成式模型的兴起，处理后的图像可能在保持感知质量的同时改变了语义内容，使得传统的图像质量评估不足以进行语义层面的评估。在本文中，我们将语义相似性形式化为低层图像处理的一项新评估任务，旨在衡量处理后语义内容是否得到保留。我们进一步提出了基于语义实体及其关系的图像语义结构化表述，并讨论了有效的语义相似性指数应具备的属性与约束。基于该表述，我们提出了基于三元组的语义相似性得分（T3S），通过前景实体、背景实体及关系对图像语义进行建模。T3S 结合了语义实体提取、前景-背景解耦以及开放世界类别/关系建模。在 COCO 和 SPA-Data 上的实验表明，T3S 始终优于现有的面向保真度的指标和具有代表性的语义级基线，同时能更好地反映在不同退化下渐进的语义变化。这些结果凸显了语义评估在现代低层视觉中的重要性。
引用
@article{arxiv.2604.25408,
title = {Beyond Fidelity: Semantic Similarity Assessment in Low-Level Image Processing},
author = {Runjie Wang and Weiling Chen and Tiesong Zhao and Chang Wen Chen},
journal= {arXiv preprint arXiv:2604.25408},
year = {2026}
}