DaMuEL:一个用于实体链接的大型多语言数据集
计算与语言
2023-06-16 v1
摘要
我们提出 DaMuEL,一个包含 53 种语言数据、用于实体链接(Entity Linking)的大型多语言数据集。DaMuEL 由两部分组成:一个知识库,包含与语言无关的实体信息,如来自 Wikidata 的声明以及命名实体类型(PER、ORG、LOC、EVENT、BRAND、WORK_OF_ART、MANUFACTURED);以及带有链接到该知识库的实体提及的 Wikipedia 文本,连同来自 Wikidata 的语言特定文本(如标签、别名和描述),这些文本为每种语言单独存储。Wikidata QID 被用作持久的、与语言无关的标识符,使得知识库能够与每个实体的语言特定文本和信息相结合。Wikipedia 文档刻意只为每个出现的实体标注单一提及;我们进一步自动检测来自每篇文档的已链接命名实体的所有提及。该数据集在知识库中包含 2790 万个命名实体,以及来自 Wikipedia 文本的 123 亿(12.3G)词元。数据集以 CC BY-SA 许可发布于 https://hdl.handle.net/11234/1-5047。
引用
@article{arxiv.2306.09288,
title = {DaMuEL: A Large Multilingual Dataset for Entity Linking},
author = {David Kubeša and Milan Straka},
journal= {arXiv preprint arXiv:2306.09288},
year = {2023}
}