在多语言常识推理中利用知识
计算与语言
2021-10-19 v1
摘要
常识推理（CSR）要求模型具备通用世界知识。虽然CSR是与语言无关的过程，但大多数全面的知识源仅存在于少数流行语言（尤其是英语）中。因此，如何有效地对各种语言进行多语言常识推理（XCSR）仍不清楚。在本工作中，我们提出通过翻译-检索-翻译（TRT）策略来利用英语知识源。对于多语言常识问题与选项，我们通过翻译并从知识源中检索来收集相关知识。检索到的知识随后被翻译为目标语言，并通过可见知识注意力整合进一个预训练的多语言语言模型中。接着，我们利用4种多样的英语知识源，以不同格式提供更全面的知识覆盖。在XCSR基准上的大量结果表明，带有外部知识的TRT在零样本和翻译训练设定下均能显著改进多语言常识推理，在XCSR基准数据集（X-CSQA和X-CODAH）上分别超越先前最先进方法3.3和3.6个点。
引用
@article{arxiv.2110.08462,
title = {Leveraging Knowledge in Multilingual Commonsense Reasoning},
author = {Yuwei Fang and Shuohang Wang and Yichong Xu and Ruochen Xu and Siqi Sun and Chenguang Zhu and Michael Zeng},
journal= {arXiv preprint arXiv:2110.08462},
year = {2021}
}
备注
First place in XCSR Leaderboard: https://inklab.usc.edu//XCSR/leaderboard. Work in progress