从一本语法书学习翻译新语言的基准

大语言模型（LLMs）可以通过上下文学习或轻量微调展现出令人印象深刻的性能。人们自然会想知道这些模型对全新任务的适应能力如何，但如何找到互联网规模训练集中未出现的任务？我们转向一个明确受限于网络数据稀缺的领域：低资源语言。在本文中，我们引入MTOB（从一本书出发的机器翻译，Machine Translation from One Book），这是一个用于学习在英语与Kalamang语之间翻译的基准——Kalamang语使用者不足200人，因此在网络上几乎不存在——使用数百页的田野语言学参考资料。该任务框架的新颖之处在于要求模型从一本人类可读的语法解释书而非大量挖掘的领域内语料中学习一门语言，更类似于二语学习而非母语习得。我们证明使用当前LLMs的基线方法前景可期但落后于人类表现，在Kalamang语到英语翻译上达到44.7 chrF，在英语到Kalamang语翻译上达到45.8 chrF，而使用相同参考资料学习Kalamang语的人类分别为51.6和57.0 chrF。我们希望MTOB能沿新维度衡量LLM能力，并且为解决该任务开发的方法可通过利用与传统机器翻译不同性质的数据，帮助未充分服务群体扩大语言技术的可及性。