基尼系数作为评估向量空间中多对多相似性的统一度量
人工智能
2024-11-13 v1
摘要
我们证明基尼系数可以作为统一度量，用于评估向量空间中的多对多（全对全）相似性。我们对各种图像数据集的分析表明，具有最高基尼系数的图像往往彼此最相似，而具有最低基尼系数的图像则最不相似。我们还表明，这种关系对于来自各种语料库的向量化文本嵌入也成立，这突显了我们方法的一致性及其在不同数据类型上的广泛适用性。此外，我们证明，选择与测试数据集分布紧密匹配的机器学习训练样本远比确保数据多样性重要。选择具有较高基尼系数的典型和标志性训练样本，与简单地拥有一个具有较低基尼系数的多样化训练集相比，能显著提高模型性能。因此，基尼系数可以作为选择机器学习训练样本的有效标准，我们的选择方法在信息非常稀疏的设置下优于随机采样方法。
引用
@article{arxiv.2411.07983,
title = {Gini Coefficient as a Unified Metric for Evaluating Many-versus-Many Similarity in Vector Spaces},
author = {Ben Fauber},
journal= {arXiv preprint arXiv:2411.07983},
year = {2024}
}