基于Hadoop与KOSHIK的自然语言处理
计算与语言
2016-08-17 v1
摘要
自然语言处理作为一种与数据分析相关的技术，广泛应用于人工智能、人类语言处理和翻译等许多研究领域。目前，由于数据的爆炸式增长，自然语言处理面临诸多挑战。Hadoop是能够处理自然语言处理所需大量数据的平台之一。KOSHIK是一种自然语言处理架构，它利用Hadoop并包含诸如Stanford CoreNLP和OpenNLP等语言处理组件。本研究描述了如何使用相关工具构建KOSHIK平台，并提供了分析wiki数据的步骤。最后，评估并讨论了KOSHIK架构的优缺点，并给出了提升处理性能的建议。
引用
@article{arxiv.1608.04434,
title = {Natural Language Processing using Hadoop and KOSHIK},
author = {Emre Erturk and Hong Shi},
journal= {arXiv preprint arXiv:1608.04434},
year = {2016}
}