用于翻译与高效跨语言迁移的多语言像素表示
计算与语言
2023-10-25 v2
摘要
我们介绍并展示了如何以像素表示有效训练多语言机器翻译模型。我们在两种不同数据设置下以多样语言与文字系统覆盖进行实验，展现出相较子词嵌入的性能提升。我们探究像素表示的多种性质，如文字系统内部与跨文字系统的参数共享，以更好理解其在何处带来正向迁移。我们观察到，这些性质不仅实现对未见文字系统的无缝跨语言迁移，还使像素表示比词汇扩展等替代方案更具数据效率。我们希望本工作有助于构建面向所有语言与文字系统的更具可扩展性的多语言模型。
引用
@article{arxiv.2305.14280,
title = {Multilingual Pixel Representations for Translation and Effective Cross-lingual Transfer},
author = {Elizabeth Salesky and Neha Verma and Philipp Koehn and Matt Post},
journal= {arXiv preprint arXiv:2305.14280},
year = {2023}
}
备注
EMNLP 2023