分析与适配大语言模型以实现少样本多语言自然语言理解：我们到了吗？
计算与语言
2024-03-05 v1
摘要
监督微调（SFT）、监督指令微调（SIT）和上下文学习（ICL）是少样本学习的三种替代性事实标准方法。随着 LLM 的出现，ICL 因其简单性和样本效率而在近期获得了普及。先前的研究仅对这三种方法在多语言少样本学习中的作用进行了有限的调查，且目前的重点主要在于其性能。在本研究中，我们对这三种方法进行了广泛而系统的比较，在 6 种高资源和低资源语言、三种不同的 NLU 任务以及众多语言和领域设置上对它们进行了测试。重要的是，性能只是比较的一个方面，我们还通过计算、推理和财务成本的视角对这些方法进行了分析。我们的观察表明，监督指令微调在性能和资源需求之间具有最佳权衡。作为另一项贡献，我们分析了预训练 LLM 目标语言适配的影响，发现标准适配方法可以（表面上）提高目标语言的生成能力，但通过 ICL 引发的语言理解并未改善且仍然有限，尤其是对于低资源语言得分较低。
引用
@article{arxiv.2403.01929,
title = {Analyzing and Adapting Large Language Models for Few-Shot Multilingual NLU: Are We There Yet?},
author = {Evgeniia Razumovskaia and Ivan Vulić and Anna Korhonen},
journal= {arXiv preprint arXiv:2403.01929},
year = {2024}
}