规模定律如何适用于知识图谱工程任务？模型规模对大语言模型性能的影响
人工智能
2025-05-23 v1 计算与语言
摘要
在使用大语言模型（LLM）支持知识图谱工程（KGE）时，最初寻找合适模型的首要指标之一就是其规模。根据规模定律，较大的模型通常表现出更高的能力。然而，在实际应用中，资源成本也是一个重要因素，因此考虑模型性能与成本之间的比率是有意义的。LLM-KG-Bench 框架使我们能够在 KGE 任务的背景下比较大语言模型，并评估它们理解和生成知识图谱以及知识图谱查询的能力。基于我们进行 LLM-KG-Bench 测试所得的数据集（覆盖 26 个开放最先进大语言模型），我们探讨了针对 KGE 任务的模型规模定律。在我们的分析中，我们评估了不同模型规模类别之间的基准得分如何演变。此外，我们检查了单个模型及模型家族的总体得分发展与其规模之间的相关性。我们的分析表明，除少数例外情况外，模型规模定律通常也适用于所选的 KGE 任务。然而，在某些情况下，出现了平台或极限效应，即任务性能在模型与下一个更大模型之间几乎没有变化。在这些情况下，可以考虑使用较小的模型以实现更高的性价比。对于同一家族中的模型，有时较大的模型在性能上不如较小的模型。这类效应仅在局部出现。因此建议此外测试同一家族中最小和最大的模型。
引用
@article{arxiv.2505.16276,
title = {How do Scaling Laws Apply to Knowledge Graph Engineering Tasks? The Impact of Model Size on Large Language Model Performance},
author = {Desiree Heim and Lars-Peter Meyer and Markus Schröder and Johannes Frey and Andreas Dengel},
journal= {arXiv preprint arXiv:2505.16276},
year = {2025}
}
备注
Peer reviewed and to appear in the ESWC 2025 Workshops and Tutorials Joint Proceedings (Workshop on Evaluation of Language Models in Knowledge Engineering [ELMKE])