大型语言模型能否很好地替代分类体系？

大型语言模型(LLM)展现出令人印象深刻的内化知识和回答自然语言问题的能力。尽管先前的研究验证了LLM在通用知识上表现良好，但在长尾细粒度知识上表现不佳，但学界仍对传统的知识图谱是否应被LLM取代存疑。在本文中，我们探究知识图谱的模式（即分类体系）是否已被LLM淘汰。直觉上，LLM应该在通用分类体系以及人们常见的分类层级上表现良好。不幸的是，目前缺乏一个全面的基准测试，能够在从通用到专业领域的广泛分类体系上，以及从根节点到叶节点的层级上评估LLM，以便我们得出可靠的结论。为弥补这一研究空白，我们构建了一个新颖的分类体系层次结构发现基准测试，名为TaxoGlimpse，用于评估LLM在分类体系上的性能。TaxoGlimpse涵盖了从通用到专业领域的十个代表性分类体系，并对该分类体系中从根节点到叶节点的不同层级实体进行了深入实验。我们对十八个最先进的LLM在三种提示设置下的全面实验验证了，LLM仍然不能很好地捕捉专业分类体系和叶节点层级实体的知识。