打破语言壁垒:利用结构化自注意力改进跨语言推理
计算与语言
2023-10-25 v1
摘要
本工作中,我们研究多语言语言模型(MultiLMs)在针对某一语言微调推理能力后,能否将逻辑推理能力迁移至其他语言。我们在两种设定下评估MultiLMs的跨语言推理能力:(1) 上下文与问题的语言在被测试的新语言中保持一致(即推理仍为单语,但模型须跨语言迁移所学推理能力),以及(2) 上下文与问题的语言不同(我们称之为语码转换推理)。在两个逻辑推理数据集RuleTaker与LeapOfThought上,我们证明尽管MultiLMs能在单语设定下跨语言迁移推理能力,却在语码转换设定下难以迁移。遵循该观察,我们提出一种新颖注意力机制,使用一组专用参数以鼓励语码转换序列中的跨语言注意力,在RuleTaker与LeapOfThought数据集上分别将推理性能提升多达14%与4%。
引用
@article{arxiv.2310.15258,
title = {Breaking the Language Barrier: Improving Cross-Lingual Reasoning with Structured Self-Attention},
author = {Negar Foroutan and Mohammadreza Banaei and Karl Aberer and Antoine Bosselut},
journal= {arXiv preprint arXiv:2310.15258},
year = {2023}
}
备注
EMNLP 2023 - Findings