TeTIm-Eval：一种用于比较文本到图像模型的新型精选评估数据集
计算机视觉与模式识别
2022-12-16 v1 计算与语言
机器学习
摘要
评估和比较文本到图像模型是一个具有挑战性的问题。该领域近来取得了重大进展，引起了各工业部门的兴趣。因此，该领域的黄金标准应涵盖多种任务和应用场景。本文提出了一种基于以下内容的新型评估方法：(i) 一个由高质量免版税图像-文本对组成的精选数据集，分为十个类别；(ii) 一个量化指标，即 CLIP-score；(iii) 一项人类评估任务，用于针对给定文本区分真实图像与生成图像。所提出的方法已应用于最新模型，即 DALLE2、Latent Diffusion、Stable Diffusion、GLIDE 和 Craiyon。早期实验结果表明，人类判断的准确率与 CLIP-score 完全一致。该数据集已公开可用。
引用
@article{arxiv.2212.07839,
title = {TeTIm-Eval: a novel curated evaluation data set for comparing text-to-image models},
author = {Federico A. Galatolo and Mario G. C. A. Cimino and Edoardo Cogotti},
journal= {arXiv preprint arXiv:2212.07839},
year = {2022}
}