mBERT 并非天书：从多语言 BERT 中诱导词级翻译
计算与语言
2020-10-19 v1
摘要
近期工作已表明多语言 BERT（mBERT）学习到丰富的跨语言表示，从而允许跨语言迁移。我们研究嵌入在 mBERT 中的词级翻译信息，并提出两种简单的、无需微调即可展现卓越翻译能力的方法。结果表明，此类信息大多以非线性方式编码，而其中部分也可通过纯线性工具恢复。作为我们分析的一部分，我们检验了 mBERT 学习到的表示同时包含语言编码成分与抽象跨语言成分的假设，并明确识别出 mBERT 表示中的一个经验性语言身份子空间。
引用
@article{arxiv.2010.08275,
title = {It's not Greek to mBERT: Inducing Word-Level Translations from Multilingual BERT},
author = {Hila Gonen and Shauli Ravfogel and Yanai Elazar and Yoav Goldberg},
journal= {arXiv preprint arXiv:2010.08275},
year = {2020}
}
备注
BlackboxNLP 2020