SIQA:可靠的科学图像质量评估框架
计算机视觉与模式识别
2026-03-10 v1
摘要
科学图像与自然图像和 AI 生成图像在根本上有所不同,因为它们编码的是结构化的领域知识,而不仅仅是描绘视觉场景。因此,评估其质量需要不仅考虑感知保真度,还要评估科学的正确性和逻辑的完整性。然而,现有的图像质量评估(IQA)范式主要关注感知失真或图像-文本对齐,隐含地假设所描绘的内容是事实上有效的。在科学语境下,这一假设不成立,因为视觉上合理的图像可能仍包含概念性错误或不完整的推理。为此,我们引入科学图像质量评估(SIQA),一个沿两个互补维度建模科学图像质量的框架:知识(科学有效性和科学完整性)和感知(认知清晰度和学科一致性)。为实现这一表述,我们设计了两个评估协议:SIQA-U(理解),通过多选题测量对科学内容的语义理解;SIQA-S(评分),评估与专家质量判断的对齐程度。我们进一步构建了 SIQA 挑战,包括专家标注的基准数据集和大规模训练集。跨代表性多模态大语言模型(MLLM)的实验揭示了评分一致性与科学理解之间持续的差距。尽管模型在 SIQA-S 上可获得与专家评分高度一致的成绩,但其在 SIQA-U 上的表现仍显著低于后者。微调可提升两者,但评分的提升始终快于理解的提升。这一结果表明,仅凭评分一致性可能不可靠地反映科学理解,凸显了针对科学图像质量评估需要多维度评估的必要性。
引用
@article{arxiv.2603.06700,
title = {SIQA: Toward Reliable Scientific Image Quality Assessment},
author = {Wenzhe Li and Liang Chen and Junying Wang and Yijing Guo and Ye Shen and Farong Wen and Chunyi Li and Zicheng Zhang and Guangtao Zhai},
journal= {arXiv preprint arXiv:2603.06700},
year = {2026}
}