LLaMA：开放且高效的基础语言模型
计算与语言
2023-02-28 v1
摘要
我们介绍了 LLaMA，一组参数规模从 7B 到 65B 的基础语言模型(foundation language models)。我们在数万亿 token 上训练我们的模型，并表明仅使用公开可用的数据集而不借助专有且不可访问的数据集来训练最先进的模型是可能的。特别地，LLaMA-13B 在大多数基准上优于 GPT-3 (175B)，且 LLaMA-65B 与最佳模型 Chinchilla-70B 和 PaLM-540B 具有竞争力。我们向研究社区发布我们所有的模型。
引用
@article{arxiv.2302.13971,
title = {LLaMA: Open and Efficient Foundation Language Models},
author = {Hugo Touvron and Thibaut Lavril and Gautier Izacard and Xavier Martinet and Marie-Anne Lachaux and Timothée Lacroix and Baptiste Rozière and Naman Goyal and Eric Hambro and Faisal Azhar and Aurelien Rodriguez and Armand Joulin and Edouard Grave and Guillaume Lample},
journal= {arXiv preprint arXiv:2302.13971},
year = {2023}
}