WikiDoMiner:维基百科领域专用语料挖掘工具
软件工程
2022-06-22 v1
摘要
我们介绍了WikiDoMiner,一种通过爬取维基百科自动生成领域专用语料库的工具。WikiDoMiner帮助需求工程师创建特定于给定需求规约(RS)底层领域的外部知识资源。能够构建此类资源十分重要,因为领域专用数据集十分稀缺。WikiDoMiner首先从一个给定RS中提取一组领域专用关键词,随后针对这些关键词查询维基百科,从而生成语料库。WikiDoMiner的输出是一组与输入RS领域相关的维基百科文章。挖掘维基百科中的领域专用知识可惠及多项需求工程任务,例如歧义处理、需求分类与问答。WikiDoMiner以开源许可发布于Zenodo(DOI: 10.5281/zenodo.6671357)。
引用
@article{arxiv.2206.10218,
title = {WikiDoMiner: Wikipedia Domain-specific Miner},
author = {Saad Ezzini and Sallam Abualhaija and Mehrdad Sabetzadeh},
journal= {arXiv preprint arXiv:2206.10218},
year = {2022}
}