面向文本到图像合成的对比组合性基准：基于统一文本到图像保真度指标的研究
计算机视觉与模式识别
2023-12-12 v2 人工智能
多媒体
摘要
文本到图像（T2I）合成近期取得了显著进展。然而，模型在组合性方面仍面临挑战，即根据已知组件创建新组合的能力。我们引入了 Winoground-T2I，一个旨在评估 T2I 模型组合性的基准。该基准包含跨越 20 个类别的 11K 对复杂、高质量的对比句子对。这些具有细微差异的对比句子对能够实现对 T2I 合成模型的细粒度评估。此外，为了解决不同指标间的不一致性，我们提出了一种利用对比句子对来评估各种指标可靠性的策略。我们使用 Winoground-T2I 实现双重目标：评估 T2I 模型的性能以及用于评估这些模型的指标。最后，我们深入分析了这些指标的优缺点，以及当前 T2I 模型在应对一系列复杂组合类别挑战时的能力。我们的基准已公开发布于 https://github.com/zhuxiangru/Winoground-T2I 。
引用
@article{arxiv.2312.02338,
title = {A Contrastive Compositional Benchmark for Text-to-Image Synthesis: A Study with Unified Text-to-Image Fidelity Metrics},
author = {Xiangru Zhu and Penglei Sun and Chengyu Wang and Jingping Liu and Zhixu Li and Yanghua Xiao and Jun Huang},
journal= {arXiv preprint arXiv:2312.02338},
year = {2023}
}
备注
17 pages, 14 figures, 11 tables