基于词典自动构建义原知识库
计算与语言
2021-06-04 v2 人工智能
摘要
义原在语言学中定义为最小语义单位。由标注了义原的词语构成的义原知识库（SKB）使义原能够应用于自然语言处理。迄今大量研究已展示了 SKB 在各种任务中的独特优势与有效性。然而，大多数语言没有 SKB，且人工构建 SKB 耗时耗力。为应对此挑战，我们提出一种简单且全自动的通过现有词典构建 SKB 的方法。我们利用该方法构建了一个英语 SKB 与一个法语 SKB，并从内在与外在两个视角进行了综合评估。实验结果表明，自动构建的英语 SKB 甚至优于 HowNet——这一耗费数十年人工构建的最广泛使用 SKB。并且英语与法语 SKB 均能在多个下游任务中带来明显的性能提升。本文的所有代码与数据（受版权保护的词典除外）可在 https://github.com/thunlp/DictSKB 获取。
引用
@article{arxiv.2105.12585,
title = {Automatic Construction of Sememe Knowledge Bases via Dictionaries},
author = {Fanchao Qi and Yangyi Chen and Fengyu Wang and Zhiyuan Liu and Xiao Chen and Maosong Sun},
journal= {arXiv preprint arXiv:2105.12585},
year = {2021}
}
备注
Accepted by Findings of ACL at ACL-IJCNLP 2021. Camera-ready version