用于建模命名实体间分级关系的 RelEntLess 基准
计算与语言
2024-02-01 v2 机器学习
摘要
诸如“受……影响”“以……闻名”或“是……的竞争者”这类关系本质上是分级的：我们可以根据实体对满足这些关系的程度对其进行排序，但很难在满足条件与不满足条件的实体对之间划出明确界限。此类分级关系在许多应用中起着核心作用，然而现有知识图谱通常并未涵盖它们。在本文中，我们探讨了使用大语言模型（LLMs）来填补这一空白的可能性。为此，我们引入了一个新的基准，其中需要根据实体对满足给定分级关系的程度对其进行排序。该任务被构建为一个少样本排序问题，模型仅能获取该关系的描述以及五个典型实例。我们使用所提出的基准来评估最先进的关系嵌入策略以及若干近期的 LLMs，涵盖公开可用的 LLMs 和诸如 GPT-4 之类的闭源模型。总体而言，我们发现模型规模与性能之间存在强相关性，较小的语言模型难以超越朴素基线。最大规模的 Flan-T5 和 OPT 模型结果异常强劲，尽管与人类表现之间仍存在明显差距。
引用
@article{arxiv.2305.15002,
title = {A RelEntLess Benchmark for Modelling Graded Relations between Named Entities},
author = {Asahi Ushio and Jose Camacho Collados and Steven Schockaert},
journal= {arXiv preprint arXiv:2305.15002},
year = {2024}
}
备注
EACL 2024 main conference