斯拉夫语族语言中进行上下文学习的资源与少样本学习器

尽管近期在创建准确且紧凑的上下文学习（in-context learning, ICL）器方面进展迅速，但大多数近期工作聚焦于英语任务的上下文学习。然而，与英语以外语言使用者的交互能力，为将语言技术适用性拓展至非英语使用者提供了巨大潜力。在本工作中，我们收集了用于训练和评估所选斯拉夫语族语言（捷克语、波兰语和俄语）中 ICL 所需的基础设施。我们关联了多样化数据集，并通过一组转换和纯用目标语言编写的新模板将其转化为统一的指令格式。利用新整理的数据集，我们评估了一组最新的上下文学习器，并将其结果与有监督基线进行比较。最后，我们在所收集资源上训练、评估并发布了一组上下文学习模型，并将其性能与先前工作比较。我们发现，在英语上微调的 ICL 模型也能从非英语上下文中学习某些任务，但多语言指令微调持续提升了 ICL 能力。我们还发现，大规模多任务训练可能被目标语言的单任务训练所超越，揭示了将上下文学习器专门化至其应用语言（们）的潜力。