LangBridge：无需多语言监督的多语言推理
计算与语言
2024-06-04 v2
摘要
我们介绍了 LangBridge，这是一种零样本方法，旨在无需多语言监督的情况下使语言模型适应多语言推理任务。LangBridge 通过桥接两个在不同方面各有专长的模型来运作：（1）一个专精于理解多种语言（例如 mT5 编码器），（2）一个专精于推理（例如 MetaMath）。LangBridge 通过在两个模型之间引入极少量的可训练参数来连接它们。尽管仅使用英文数据进行训练，LangBridge 显著提升了语言模型在低资源语言上的数学推理、代码补全、逻辑推理和常识推理性能。我们的分析表明，LangBridge 的有效性源于多语言表示的语言无关特性。我们公开发布了代码和模型。
引用
@article{arxiv.2401.10695,
title = {LangBridge: Multilingual Reasoning Without Multilingual Supervision},
author = {Dongkeun Yoon and Joel Jang and Sungdong Kim and Seungone Kim and Sheikh Shafayat and Minjoon Seo},
journal= {arXiv preprint arXiv:2401.10695},
year = {2024}
}
备注
ACL 2024 Main