从社交网络数据生成埃及方言停用词表
计算与语言
2015-08-11 v1
摘要
本文提出了一种从在线社交网络(OSN)语料库中生成埃及方言(ED)停用词表的方法。该论文旨在研究去除 ED 停用词对情感分析(SA)任务的影响。之前生成的停用词表均为现代标准阿拉伯语(MSA)，而 MSA 并非 OSN 中使用的通用语言。我们生成了一个埃及方言停用词表，用于与 OSN 语料库配合使用。我们比较了在使用生成的停用词表、先前生成的 MSA 停用词表以及将埃及方言停用词表与 MSA 停用词表结合时的文本分类效率。文本分类使用了 Naive Bayes 和决策树分类器以及两种特征选择方法：单字(unigram)和双字(bigram)。实验结果表明，去除 ED 停用词比仅使用 MSA 停用词表获得更好的性能。
引用
@article{arxiv.1508.02060,
title = {Egyptian Dialect Stopword List Generation from Social Network Data},
author = {Walaa Medhat and Ahmed H. Yousef and Hoda Korashy},
journal= {arXiv preprint arXiv:1508.02060},
year = {2015}
}
备注
The paper is an extension to the old paper found in the language engineering conference, arXiv:1410.1135. It is accepted by the language engineeringjournal. Although it has nearly the same structure, it is different because extensive cross validation is added any many negation words are added to dataset of the paper