解密感知的多语言学习在联合训练语言模型中的解读
计算与语言
2024-06-12 v1
摘要
联合训练语言模型（如mBERT）中无监督多语言学习（UCL）的原理仍在讨论中。许多人惊讶于如何能仅通过多个单语语料实现UCL。在本工作中，我们将UCL锚定在语言解密的语境中，表明联合训练方法是实现UCL的关键过程。在受控环境下，我们检讨不同的解密设置对多语言学习性能的影响，并巩固了有关多语言性质贡献因素的现有观点。从信息论角度，我们对UCL性能提出限制，并展示了在数据域、语言顺序和分词粒度差异导致的挑战性解密设置下，对标记对齐的重要性。最后，我们应用词汇对齐到mBERT，探讨对齐不同词汇群组对下游任务性能的贡献。
引用
@article{arxiv.2406.07231,
title = {Decipherment-Aware Multilingual Learning in Jointly Trained Language Models},
author = {Grandee Lee},
journal= {arXiv preprint arXiv:2406.07231},
year = {2024}
}