基于大规模法语网络内容的词嵌入评估
计算与语言
2022-03-11 v2
摘要
分布式词表示在自然语言处理的许多任务中被广泛使用。此外，在海量文本语料上预训练的词向量在许多不同的 NLP 任务中取得了高性能。本文介绍了多个高质量的法语词向量，其中两个是在本研究中基于大规模爬取的法语数据训练的，其余的则在已有的法语语料上训练。我们还在法语词类比任务上评估了所提出的及已有的法语词向量的质量。此外，我们在多个真实 NLP 任务上进行了评估，结果表明预训练词向量相比已有词向量和随机词向量有显著的性能提升。最后，我们创建了一个演示 Web 应用来测试和可视化所获得的词嵌入。生成的法语词嵌入，连同在 NLU 任务上的微调代码和演示代码，均向公众开放。
引用
@article{arxiv.2105.01990,
title = {Evaluation Of Word Embeddings From Large-Scale French Web Content},
author = {Hadi Abdine and Christos Xypolopoulos and Moussa Kamal Eddine and Michalis Vazirgiannis},
journal= {arXiv preprint arXiv:2105.01990},
year = {2022}
}