条件Vendi分数：基于信息论的提示式生成模型多样性评估方法
机器学习
2024-11-06 v1 人工智能
计算机视觉与模式识别
信息论
math.IT
摘要
文本条件生成模型通常根据生成数据的质量及其与输入文本提示的对齐程度进行评估。另一方面，提示式生成模型的若干应用需要生成数据具有足够的多样性，以确保模型能够生成具有多种特征的图像和视频样本。然而，大多数现有的多样性指标是为无条件生成模型设计的，因此无法区分由文本提示变化引起的多样性与生成模型本身贡献的多样性。在本工作中，我们的目标是量化提示式模型生成样本中的提示诱导多样性和模型诱导多样性。我们提出了一种用于内部多样性量化的信息论方法，其中我们将生成数据X的基于核的熵H(X)分解为条件熵H(X|T)（给定文本变量T）和文本与数据变量之间的互信息I(X;T)之和。我们引入基于H(X|T)的条件Vendi分数来量化模型的内部多样性，以及基于I(X;T)的信息Vendi分数来衡量生成数据与文本提示之间的统计相关性。我们提供了理论结果来统计解释这些分数，并将它们与无条件Vendi分数相关联。我们进行了若干数值实验来展示条件Vendi分数与文本条件生成模型内部多样性之间的相关性。代码库位于https://github.com/mjalali/conditional-vendi。
引用
@article{arxiv.2411.02817,
title = {Conditional Vendi Score: An Information-Theoretic Approach to Diversity Evaluation of Prompt-based Generative Models},
author = {Mohammad Jalali and Azim Ospanov and Amin Gohari and Farzan Farnia},
journal= {arXiv preprint arXiv:2411.02817},
year = {2024}
}