LScDC——新型大型科学词典
计算与语言
2019-12-17 v1 数字图书馆
摘要
本文提出一个英文学术论文摘要科学语料库——莱斯特科学语料库(LSC)。LSC包含由Web of Science(WoS)索引的1,673,824篇研究文章与会议论文摘要,出版年份为2014年。每篇摘要至少被归入252个学科类别之一。论文元数据包括这些类别与引用次数。我们随后开发了名为莱斯特科学词典(LScD)与莱斯特科学词典—核心(LScDC)的科学词典,词项提取自LSC。LScD为包含974,238个唯一词(词元)的列表。LScDC为LScD的核心列表(子列表),含104,223个词元,通过移除在LSC中出现于不多于10篇文本中的LScD词项而创建。LScD与LScDC均在线可用。语料库与词典均旨在后续用于学术文本中意义的量化。最后,通过将核心列表LScDC的词项与词频同包含963个词族、同样采样自学术语料库的传统学术词表“新学术词表(NAWL)”比较,对LScDC进行分析。提取NAWL的语料库主要来源为剑桥英语语料库(CEC)、口语来源与教材。我们考察两词典在共有词与词排序上是否相似。比较得出主要结论:NAWL绝大多数词(99.6%)出现于LScDC中,但两列表词排序不同,该差异被度量。
引用
@article{arxiv.1912.06858,
title = {LScDC-new large scientific dictionary},
author = {Neslihan Suzen and Evgeny M. Mirkes and Alexander N. Gorban},
journal= {arXiv preprint arXiv:1912.06858},
year = {2019}
}
备注
63 pages