为何过拟合不总有害：将跨语言词嵌入改造适配至词典
计算与语言
2020-05-04 v1 机器学习
摘要
跨语言词嵌入（CLWE）常在双语词典归纳（BLI）上评估。近期 CLWE 方法使用线性投影，其对训练词典欠拟合，以在 BLI 上泛化。然而，欠拟合会阻碍向其他依赖训练词典中词汇的下游任务的泛化。我们通过将 CLWE 改造适配至训练词典来解决此局限，该方法在嵌入空间中拉近训练翻译对并过拟合训练词典。这一简单的后处理步骤虽降低 BLI 测试精度，却常提升两个下游任务的准确率。我们也将其改造适配至训练词典与由 CLWE 诱导的合成词典，其有时在下游任务上泛化更佳。我们的结果确认了在下游任务中充分利用训练词典的重要性，并解释了为何 BLI 是存在缺陷的 CLWE 评估。
引用
@article{arxiv.2005.00524,
title = {Why Overfitting Isn't Always Bad: Retrofitting Cross-Lingual Word Embeddings to Dictionaries},
author = {Mozhi Zhang and Yoshinari Fujinuma and Michael J. Paul and Jordan Boyd-Graber},
journal= {arXiv preprint arXiv:2005.00524},
year = {2020}
}
备注
ACL 2020