随机目标嵌入在连续输出神经机器翻译中出奇有效的表现
计算与语言
2024-04-03 v2 机器学习
摘要
连续输出神经机器翻译（CoNMT）将离散的下一词预测问题替换为嵌入预测。目标嵌入空间的语义结构（即相关词的接近程度）直觉上被认为至关重要。我们挑战这一假设，并表明完全随机的输出嵌入可以胜过费力预训练的嵌入，尤其在较大数据集上。进一步研究表明，这一惊人效应对罕见词最强，归因于其嵌入的几何特性。我们通过设计一种结合随机与预训练嵌入用于不同词符的混合策略，进一步阐明该发现。
引用
@article{arxiv.2310.20620,
title = {The Unreasonable Effectiveness of Random Target Embeddings for Continuous-Output Neural Machine Translation},
author = {Evgeniia Tokarchuk and Vlad Niculae},
journal= {arXiv preprint arXiv:2310.20620},
year = {2024}
}