修正后的CBOW表现与Skip-gram相当
计算与语言
2021-11-10 v2 机器学习
摘要
Mikolov等人（2013a）观察到连续词袋（CBOW）词嵌入往往表现不如Skip-gram（SG）嵌入，且这一发现已在后续工作中被报道。我们发现这些观察结果并非由其训练目标的根本差异所驱动，而更可能是源于流行库（如官方实现word2vec.c和Gensim）中负采样CBOW实现的错误。我们展示了在修正CBOW梯度更新中的一个缺陷后，可以学到在各种内在与外在任务上与SG完全具有竞争力的CBOW词嵌入，同时训练速度快许多倍。
引用
@article{arxiv.2012.15332,
title = {Corrected CBOW Performs as well as Skip-gram},
author = {Ozan İrsoy and Adrian Benton and Karl Stratos},
journal= {arXiv preprint arXiv:2012.15332},
year = {2021}
}
备注
Presented at WINR at EMNLP 2021, added discussion about FastText, more discussion about findings, additional results on C4 data, wording changes