MoNoise：基于模块化归一系统的噪声建模
计算与语言
2017-10-11 v1
摘要
我们提出 MoNoise：一个专注于泛化能力和效率的归一化模型，旨在易于复用和适配。归一化是将文本从非规范领域翻译到更规范领域的任务，在我们的场景中即从社交媒体数据转换为标准语言。我们提出的模型基于模块化候选生成，其中每个模块负责一种不同类型的归一化操作。最重要的生成模块是拼写校正系统和词嵌入模块。根据归一化任务的定义，静态查找表对性能可能至关重要。我们训练一个随机森林分类器对候选进行排序，该分类器能很好地泛化到所有不同类型的归一化操作。排序所用的大部分特征源自生成模块；除这些特征外，N-gram 特征被证明是重要的信息来源。我们展示 MoNoise 在英语和荷兰语的不同归一化基准上均超越了当前最优水平，而这些基准对归一化任务的定义略有不同。
引用
@article{arxiv.1710.03476,
title = {MoNoise: Modeling Noise Using a Modular Normalization System},
author = {Rob van der Goot and Gertjan van Noord},
journal= {arXiv preprint arXiv:1710.03476},
year = {2017}
}
备注
Source code: https://bitbucket.org/robvanderg/monoise