评估累积谱梯度作为复杂度度量
机器学习
2025-09-03 v1 计算与语言
摘要
准确估计数据集复杂度对于评估和比较知识图谱 (KGs) 的链接预测模型至关重要。累积谱梯度 (CSG) 指标源自谱聚类框架内类别之间的概率散度，被提出作为一种数据集复杂度度量，它 (1) 随类别数量自然缩放，并且 (2) 与下游分类性能强相关。在这项工作中，我们严格评估了 CSG 在标准知识图谱链接预测基准（一个多类尾实体预测任务）上的行为，使用了控制其计算的两个关键参数：M（每个类别的 Monte Carlo 采样点数）和 K（嵌入空间中的最近邻数）。与最初的声明相反，我们发现 (1) CSG 对 K 的选择高度敏感，因此并不随目标类别的数量自然缩放；并且 (2) CSG 值与诸如平均倒数排名 (MRR) 等既定性能指标表现出弱相关或无相关。通过在 FB15k 237、WN18RR 和其他标准数据集上的实验，我们证明 CSG 所声称的稳定性和泛化预测能力在链接预测场景中会失效。我们的结果强调，在 KG 链接预测评估中需要更鲁棒的、与分类器无关的复杂度度量。
引用
@article{arxiv.2509.02399,
title = {Evaluating Cumulative Spectral Gradient as a Complexity Measure},
author = {Haji Gul and Abdul Ghani Naim and Ajaz Ahmad Bhat},
journal= {arXiv preprint arXiv:2509.02399},
year = {2025}
}