文本到图像模型的整体性评估
计算机视觉与模式识别
2023-11-09 v1 机器学习
摘要
近期文本到图像模型惊人的定性改进引起了广泛关注和采用。然而，我们缺乏对其能力与风险的全面定量理解。为填补此空白，我们引入一个新基准：文本到图像模型整体性评估（HEIM）。此前的评估主要聚焦于文本-图像对齐和图像质量，而我们识别出 12 个方面，包括文本-图像对齐、图像质量、美学、原创性、推理、知识、偏见、毒性、公平性、鲁棒性、多语言性和效率。我们策划了涵盖这些方面的 62 个场景，并在该基准上评估了 26 个最先进的文本到图像模型。我们的结果显示没有单一模型在所有方面都表现出色，不同模型展现出不同优势。我们在 https://crfm.stanford.edu/heim/v1.1.0 发布生成的图像和人工评估结果，在 https://github.com/stanford-crfm/helm 发布代码以实现完全透明，该代码已与 HELM 代码库集成。
引用
@article{arxiv.2311.04287,
title = {Holistic Evaluation of Text-To-Image Models},
author = {Tony Lee and Michihiro Yasunaga and Chenlin Meng and Yifan Mai and Joon Sung Park and Agrim Gupta and Yunzhi Zhang and Deepak Narayanan and Hannah Benita Teufel and Marco Bellagente and Minguk Kang and Taesung Park and Jure Leskovec and Jun-Yan Zhu and Li Fei-Fei and Jiajun Wu and Stefano Ermon and Percy Liang},
journal= {arXiv preprint arXiv:2311.04287},
year = {2023}
}
备注
NeurIPS 2023. First three authors contributed equally