低维嵌入的信息论质量度量
机器学习
2026-01-05 v2
摘要
在本工作中，我们从明确的信息论视角研究低维嵌入的质量。我们首先指出，诸如应力、基于排序的邻域准则或局部 Procrustes 等经典评估指标量化了距离或局部几何中的失真，但并未直接评估将高维数据投影到低维空间时保留了多少信息。为解决这一局限性，我们引入了熵秩保持度量（ERPM），这是一种基于邻域矩阵奇异值谱的 Shannon 熵和稳定秩的局部度量，它量化了原始表示与其降维投影之间不确定性的变化，提供了邻域级指标和全局汇总统计量。为了验证该度量的结果，我们使用金融时间序列和文献中常研究的流形，将其结果与基于距离的平均相对秩误差（MRRE）和基于几何属性的局部 Procrustes 进行比较。我们观察到，基于距离的准则与几何和谱度量表现出极低的相关性，而 ERPM 和局部 Procrustes 显示出较强的平均相关性，但在局部区域表现出显著差异，由此得出结论：ERPM 通过识别信息损失严重的邻域来补充现有度量，从而能够更全面地评估嵌入，特别是在构建预警指标等对信息敏感的应用中。
引用
@article{arxiv.2512.23981,
title = {Information-Theoretic Quality Metric of Low-Dimensional Embeddings},
author = {Sebastián Gutiérrez-Bernal and Hector Medel Cobaxin and Abiel Galindo González},
journal= {arXiv preprint arXiv:2512.23981},
year = {2026}
}
备注
18 pages, 6 figures, submitted to Machine Learning (Springer Nature)