超越英语的ChatGPT：面向多语言学习中大语言模型的综合评估
计算与语言
2023-04-13 v1 人工智能
摘要
过去几年，大语言模型（LLMs）已成为自然语言处理（NLP）中最重要的突破，从根本上改变了该领域的研究与发展。ChatGPT是近期开发的最令人瞩目的LLM系统之一，展现出令人惊叹的语言生成能力并高度吸引公众注意。在ChatGPT于英语中的各类引人关注的应用之外，由于多语言训练数据，该模型可处理并生成多种语言的文本。鉴于ChatGPT在英语不同问题与领域中的广泛采用，一个自然的问题是：ChatGPT是否能有效应用于其他语言，抑或有必要开发更具语言特异性的技术。该问题的回答需要对ChatGPT在多种语言与大型数据集上的多任务进行彻底评估（即超越已报道的轶事），而当前研究中仍缺失或有限。我们的工作旨在填补ChatGPT及类似LLM评估的空白，为多语言NLP应用提供更全面的信息。尽管本工作将是未来纳入额外实验的持续努力，我们当前的论文在7项不同任务上评估ChatGPT，覆盖37种具有高、中、低及极低资源多样性的语言。我们亦聚焦ChatGPT的零样本学习设定以提升可复现性并更好地模拟普通用户的交互。相较于先前模型的性能，我们广泛的实验结果表明ChatGPT在不同NLP任务与语言上表现更差，呼吁进一步研究以开发更好的模型并增进对多语言学习的理解。
引用
@article{arxiv.2304.05613,
title = {ChatGPT Beyond English: Towards a Comprehensive Evaluation of Large Language Models in Multilingual Learning},
author = {Viet Dac Lai and Nghia Trung Ngo and Amir Pouran Ben Veyseh and Hieu Man and Franck Dernoncourt and Trung Bui and Thien Huu Nguyen},
journal= {arXiv preprint arXiv:2304.05613},
year = {2023}
}