欧洲语言大型语言模型综述
计算与语言
2024-08-29 v2
摘要
大型语言模型 (LLM) 因在广泛的自然语言任务上的卓越性能而受到广泛关注，自 ChatGPT 发布后尤其如此。LLM 通过在海量文本数据上训练数十亿模型参数来学习理解和生成语言。尽管该领域相对新兵，LLM 研究正快速向多个方向发展。本文概述了 LLM 家族，包括 LLaMA、PaLM、GPT 和 MoE，并介绍了为官方欧洲联盟 (EU) 语言开发和增强 LLM 的方法。我们提供了常见单语和多语数据集的全面总结，这些数据集用于预训练大型语言模型。
引用
@article{arxiv.2408.15040,
title = {A Survey of Large Language Models for European Languages},
author = {Wazir Ali and Sampo Pyysalo},
journal= {arXiv preprint arXiv:2408.15040},
year = {2024}
}