PSCR：基于补丁采样的对比回归用于AIGC图像质量评估
计算机视觉与模式识别
2023-12-12 v1
摘要
近年来，人工智能生成内容（AIGC）在计算机科学界之外也获得了广泛关注。由于AI生成图像（AIGI）的持续创作带来的各种问题，AIGC图像质量评估（AIGCIQA）旨在从人类感知角度评估AIGI的质量，已成为计算机视觉领域的一个新课题。然而，大多数现有的AIGCIQA方法直接从单个生成图像回归预测分数，忽略了AIGI和分数之间的内在差异。此外，调整大小和裁剪等操作可能导致全局几何失真和信息丢失，从而限制了模型的性能。为了解决这些问题，我们提出了一种基于补丁采样的对比回归（PSCR）框架。我们建议引入对比回归框架，以利用不同生成图像之间的差异来学习更好的表示空间。在这个空间中，图像之间的差异和分数排名可以通过它们的相对分数来衡量。通过选择示例AIGI作为参考，我们还克服了先前模型无法在无参考图像数据库上利用参考图像的限制。为了避免图像输入中的几何失真和信息丢失，我们进一步提出了一种补丁采样策略。为了证明我们提出的PSCR框架的有效性，我们在三个主流的AIGCIQA数据库（包括AGIQA-1K、AGIQA-3K和AIGCIQA2023）上进行了大量实验。结果表明，引入我们提出的PSCR框架后，模型性能显著提升。代码将在\url{https://github.com/jiquan123/PSCR}提供。
引用
@article{arxiv.2312.05897,
title = {PSCR: Patches Sampling-based Contrastive Regression for AIGC Image Quality Assessment},
author = {Jiquan Yuan and Xinyan Cao and Linjing Cao and Jinlong Lin and Xixin Cao},
journal= {arXiv preprint arXiv:2312.05897},
year = {2023}
}
备注
17 pages, 6 figures