衡量何为重要：内在距离保存作为嵌入质量的稳健指标
机器学习
2024-08-01 v1 人工智能
摘要
无监督嵌入是众多机器学习应用的基础，但其评估仍是一个具有挑战性的任务。传统评估方法常依赖外部变量，如下游任务中的性能，这些方法可能引入混杂因素，掩盖嵌入的真实质量。本文引入了内在距离保存评估（IDPE）方法，这是一种新颖的嵌入质量评估方法，基于在原始空间和嵌入空间之间保持数据点间马哈维斯距离的保存。我们通过一个简单示例阐明了外部评估方法的局限性，说明它们可能导致对嵌入质量产生误导性结论。IDPE通过提供嵌入保存原始数据内在结构程度的任务无关性度量，解决了上述问题。该方法利用高效相似性搜索技术，使其适用于大规模数据集。我们将IDPE与 established 的内在指标（如可靠性和连续性）以及外部指标（如平均排名和平均倒数排名）进行比较。我们的结果表明，IDPE在各种情景下提供更全面可靠的嵌入质量评估。我们使用IDPE评估了PCA和t-SNE嵌入，揭示了这些方法的性能，这些性能不受传统指标的捕捉。该工作通过提供一种稳健、高效且可解释的方法来评估嵌入，为研究人员和实践者提供了寻求为 diverse 机器学习应用开发和评估高质量嵌入的有价值工具。IDPE的关注内在属性为该领域贡献了重要方法。
引用
@article{arxiv.2407.21590,
title = {Measuring What Matters: Intrinsic Distance Preservation as a Robust Metric for Embedding Quality},
author = {Steven N. Hart and Thomas E. Tavolara},
journal= {arXiv preprint arXiv:2407.21590},
year = {2024}
}