LLM真的能从一本语法书中学会翻译低资源语言吗？

极低资源(XLR)语言缺乏用于训练NLP模型的大规模语料库，这促使人们利用所有可用资源，如词典和语法书。《从一本书进行机器翻译》(Tanzer et al., 2024)提出，用一本语法书提示长上下文LLM可以实现英语-Kalamang翻译，Kalamang是一种LLM未见过的XLR语言——这是语言学助力NLP任务的一个值得注意的案例。我们调查了这种翻译能力的来源，发现几乎所有的改进都源于书中的平行示例，而非其语法解释。我们在Nepali和Guarani这两种已见过的低资源语言上发现了类似的结果，并且仅通过微调编码器-解码器翻译模型，我们就实现了与带有语法书的LLM相当的性能。然后，我们通过测试两项语言学任务（语法性判断和词义标注预测）来调查语法书在哪些方面有帮助，并通过引入在这些更相关任务上取得领先结果的类型学特征提示，探索了哪种语法知识有帮助。因此，我们强调了任务适配数据对XLR语言的重要性：翻译用平行示例，语言学任务用语法数据。由于我们没有发现长上下文LLM能有效利用语法解释进行XLR翻译的证据，我们得出结论，针对翻译等多语言XLR任务的数据收集，最好集中于平行数据而非语言描述。