RaTE：通过填补空白实现可复现的自动化分类体系评估
计算与语言
2023-07-20 v1 人工智能
机器学习
摘要
分类体系是一种基础的知识表示形式，然而大多数关于自动分类体系构建（ATC）的研究仍依赖人工评估来为所提算法打分。我们认为，自动分类体系评估（ATE）与分类体系构建同等重要。我们提出 RaTE，一种基于大型预训练语言模型、无需标签的自动化分类体系打分流程。我们将该评估流程应用于三种最先进的 ATC 算法，借此从 Yelp 领域构建了七个分类体系，并表明：1）RaTE 与人类判断具有良好相关性；2）人为劣化一个分类体系会导致 RaTE 分数下降。
引用
@article{arxiv.2307.09706,
title = {RaTE: a Reproducible automatic Taxonomy Evaluation by Filling the Gap},
author = {Tianjian Gao and Phillipe Langlais},
journal= {arXiv preprint arXiv:2307.09706},
year = {2023}
}
备注
15th International Conference on Computational Semantics (IWCS), Association for Computational Linguistics (ACL)