基于 Gram 矩阵的纹理感知图像真实性评估指标

评估生成图像的真实性仍是生成模型中的基本挑战。现有的分布度量如弗里特特 Inception 距离（FID）和 CLIP-MMD（CMMD）在语义层面比较特征分布，但可能忽略用于区分真实与生成图像的细粒度纹理信息。我们引入 Gram-MMD（GMMD），一种利用来自预训练主干网络中间激活的 Gram 矩阵来捕获特征图之间相关性的真实性指标。通过提取这些对称 Gram 矩阵的上三角部分，并衡量锚定真实图像分布与评估分布之间的最大均值偏差（MMD），GMMD 产生一种编码纹理和结构特征的表示，比全局嵌入在细粒度层面捕获这些特征。为选择指标的超参数，我们采用基于对 MS-COCO 图像施加受控退化的元指标协议，通过斯皯曼等级相关系数和 Kendall's tau 测量单调性。我们在 KADID-10k 数据库和 RAISE 真实性评估数据集上进行实验，使用 various 主干架构，包括 DINOv2、DC-AE、Stable Diffusion VAE 编码器、VGG19 和 LPIPS 的 AlexNet 主干等。我们还展示在跨域驾驶情境（KITTI / Virtual KITTI / Stanford Cars）上，CMMD 可能因其语义偏差而将真实图像排在合成图像之后，而 GMMD 保持正确的排序。我们的结果表明，GMMD 捕获了与现有语义层面指标的互补信息。