EntEval：面向实体表示的整体性评测基准
计算与语言
2019-11-12 v2
摘要
丰富的实体表示对涉及实体的广泛问题十分有用。尽管其重要，目前仍缺乏标准化基准来评测实体表示的整体质量。本工作中，我们提出 EntEval：一套由多样任务组成的测试套件，这些任务需要对实体有非平凡的理解，包括实体类型标注、实体相似度、实体关系预测和实体消歧。此外，我们利用维基百科中自然的超链接标注，开发了学习更好实体表示的训练技术。我们确定了将超链接中的上下文信息融入 state-of-the-art 预训练语言模型的有效目标，并表明它们在多个 EntEval 任务上改进了强基线。
引用
@article{arxiv.1909.00137,
title = {EntEval: A Holistic Evaluation Benchmark for Entity Representations},
author = {Mingda Chen and Zewei Chu and Yang Chen and Karl Stratos and Kevin Gimpel},
journal= {arXiv preprint arXiv:1909.00137},
year = {2019}
}
备注
EMNLP 2019. Fixed typo