文本预处理在神经网络架构中的作用：基于文本分类与情感分析的评估研究
计算与语言
2018-08-24 v3 信息检索
摘要
文本预处理通常是自然语言处理（NLP）系统流程中的第一步，对其最终性能有潜在影响。尽管很重要，文本预处理在深度学习文献中并未受到太多关注。在本文中，我们研究了简单的文本预处理决策（特别是分词、词形还原、小写化和多词分组）对标准神经文本分类器性能的影响。我们在来自文本分类和情感分析的标准基准上进行了广泛评估。虽然我们的实验表明对输入文本的简单分词通常足够，但它们也突出了不同预处理技术之间的显著变异程度。这揭示了关注流程中这一通常被忽视步骤的重要性，特别是在比较不同模型时。最后，我们的评估为训练词嵌入的最佳预处理实践提供了见解。
引用
@article{arxiv.1707.01780,
title = {On the Role of Text Preprocessing in Neural Network Architectures: An Evaluation Study on Text Categorization and Sentiment Analysis},
author = {Jose Camacho-Collados and Mohammad Taher Pilehvar},
journal= {arXiv preprint arXiv:1707.01780},
year = {2018}
}
备注
Blackbox EMNLP 2018. 7 pages