面向噪声文本的鲁棒词嵌入方法
计算与语言
2020-10-02 v4
摘要
词嵌入的研究主要集中于提升其在标准语料库上的性能，忽视了以推文及社交媒体上其他非标准写作为形式的噪声文本所带来的困难。在本工作中，我们提出了对 skipgram 模型的一个简单扩展，其中引入了桥词（bridge-words）的概念，即向模型中添加人工词以加强标准词与其噪声变体之间的相似性。我们的新嵌入在噪声文本上的一系列内在与外在评测任务中均优于基线模型，同时在标准文本上保持了良好性能。据我们所知，这是在词嵌入层面处理此类噪声文本的首个显式方法，且超越了仅支持集外词（out-of-vocabulary）的做法。
引用
@article{arxiv.1911.10876,
title = {Towards robust word embeddings for noisy texts},
author = {Yerai Doval and Jesús Vilares and Carlos Gómez-Rodríguez},
journal= {arXiv preprint arXiv:1911.10876},
year = {2020}
}
备注
15 pages, 2 figures, 5 tables