Vendi 分数：一种用于机器学习的多样性评价指标
机器学习
2023-07-04 v2 材料科学
机器学习
摘要
多样性是机器学习（ML）许多领域（包括生成建模与数据集策划）的一项重要准则。然而，现有的多样性度量指标往往领域特定且灵活性有限。本文中，我们通过提出 Vendi 分数来解决多样性评价问题，该分数将生态学及量子统计力学的思想联系并扩展到 ML。Vendi 分数定义为相似矩阵特征值的香农熵的指数。该矩阵由应用于待评价多样性样本的用户定义相似函数所诱导。通过以相似函数作为输入，Vendi 分数使用户能够指定任意期望的多样性形式。重要的是，与 ML 中许多现有指标不同，Vendi 分数不需要参考数据集或样本/标签上的分布，因此它具有通用性，可应用于任何能定义相似性的领域中的任何生成模型、解码算法和数据集。我们在分子生成建模上展示了 Vendi 分数，发现它解决了该领域当前首选多样性指标的缺陷。我们还将 Vendi 分数应用于图像生成模型与文本解码算法，发现它确认了这些领域中关于多样性的已知结果。此外，我们使用 Vendi 分数度量模式崩溃，这是生成对抗网络（GAN）的已知缺陷。特别地，Vendi 分数揭示出，即便捕获了有标签数据集所有模式的 GAN，也可能比原始数据集多样性更低。最后，Vendi 分数的可解释性使我们能够诊断若干基准 ML 数据集的多样性，为多样性知情的数据增强打开了大门。
引用
@article{arxiv.2210.02410,
title = {The Vendi Score: A Diversity Evaluation Metric for Machine Learning},
author = {Dan Friedman and Adji Bousso Dieng},
journal= {arXiv preprint arXiv:2210.02410},
year = {2023}
}
备注
The Vendi Score is available as a pip package at https://github.com/vertaix/Vendi-Score