LIEDER：面向篇章实体识别的语言学知情评估
计算与语言
2024-08-13 v2
摘要
篇章实体 (DE) 识别是识别文本中引入的新实体和已知实体的任务。虽然先前的工作发现大型语言模型具有基础但不完美的 DE 识别能力 (Schuster and Linzen, 2022)，但对于支配 DE 引入和后续指代的基本语义属性，它们究竟掌握了哪些，在很大程度上仍未得到评估。我们提出了面向篇章实体识别的语言学知情评估 (LIEDER) 数据集，允许对语言模型关于四个关键语义属性的知识进行详细检查：存在性、唯一性、复数性和新颖性。我们发现证据表明，最先进的大型语言模型对除新颖性之外的所有这些属性表现出敏感性，这表明它们尚未达到人类水平的语言理解能力。
引用
@article{arxiv.2403.06301,
title = {LIEDER: Linguistically-Informed Evaluation for Discourse Entity Recognition},
author = {Xiaomeng Zhu and Robert Frank},
journal= {arXiv preprint arXiv:2403.06301},
year = {2024}
}