通过分布实现鲁棒嵌入
计算与语言
2021-04-20 v1 机器学习
摘要
尽管该领域近期取得了巨大进展，许多自然语言处理（NLP）模型在噪声域上仍难以充分表现。我们提出一种新颖的基于概率的嵌入级方法以提升 NLP 模型的鲁棒性。我们的方法“通过分布实现鲁棒嵌入”（RED）融合了来自噪声词元与周边上下文的信息，获得嵌入向量上的分布，相比任何确定性方法都能更充分地表达语义空间中的不确定性。我们在存在自然与合成噪声的情况下，使用现有最先进模型在若干下游任务上评估了我们的方法，并展示出相对于文献中其他鲁棒嵌入方法的明显改进。
引用
@article{arxiv.2104.08420,
title = {Robust Embeddings Via Distributions},
author = {Kira A. Selby and Yinong Wang and Ruizhe Wang and Peyman Passban and Ahmad Rashid and Mehdi Rezagholizadeh and Pascal Poupart},
journal= {arXiv preprint arXiv:2104.08420},
year = {2021}
}