来自十年斯里兰卡 Facebook 的僧伽罗语语料库与停用词
计算与语言
2020-07-16 v1 社会与信息网络
摘要
本文呈现了来自 LIRNEasia 数据分析与政策团队语言工作的两个口语化僧伽罗语语料库，以及一份算法推导的停用词列表。两个语料库中较大的涵盖 2010 至 2020 年，包含由 533 个斯里兰卡 Facebook 主页发布的 28,825,820 至 29,549,672 词的多语言文本，涵盖政治、媒体、名人及其他类别；较小的语料库包含从较大语料库中提取的仅 5,402,76 词僧伽罗语文本。两个语料库均带有创建日期、来源主页与内容类型的标记。
引用
@article{arxiv.2007.07884,
title = {Sinhala Language Corpora and Stopwords from a Decade of Sri Lankan Facebook},
author = {Yudhanjaya Wijeratne and Nisansa de Silva},
journal= {arXiv preprint arXiv:2007.07884},
year = {2020}
}
备注
10 pages; Github repo of data linked in summary