无参考的分类学质量评估
计算与语言
2026-01-07 v2
摘要
我们引入两种无参考指标，用于在缺乏标签的情况下评估分类学的质量。第一种指标通过计算语义相似性和分类学相似性之间的相关性来评估鲁棒性，处理的错误类型不在现有指标所考虑的范围之内。第二种指标使用自然语言推理来评估逻辑充分性。两种指标均在五个分类学上进行测试，并与F1分数相匹配。我们进一步展示了这些指标在使用标签层次结构时可以预测分层分类的下游性能。
引用
@article{arxiv.2505.11470,
title = {Reference-Free Evaluation of Taxonomies},
author = {Pascal Wullschleger and Majid Zarharan and Donnacha Daly and Marc Pouly and Jennifer Foster},
journal= {arXiv preprint arXiv:2505.11470},
year = {2026}
}
备注
Under review at ARR January 2026 cycle