教科书即你所需要的一切
计算与语言
2023-10-03 v2 人工智能
机器学习
摘要
我们介绍phi-1，一种用于代码的新大语言模型(LLM)，其规模显著小于竞争模型：phi-1是基于Transformer的模型，具有1.3B参数，在8块A100上训练4天，使用从网络筛选的“教科书质量”数据(6B tokens)以及用GPT-3.5合成生成的教科书与练习(1B tokens)。尽管规模小，phi-1在HumanEval上达到pass@1准确率50.6%，在MBPP上达到55.5%。与phi-1-base(我们在代码练习数据集微调阶段前的模型)及phi-1-small(具有相同流水线训练、350M参数的更小模型，仍在HumanEval上取得45%)相比，它还展现出令人惊讶的涌现性质。
引用
@article{arxiv.2306.11644,
title = {Textbooks Are All You Need},
author = {Suriya Gunasekar and Yi Zhang and Jyoti Aneja and Caio César Teodoro Mendes and Allie Del Giorno and Sivakanth Gopi and Mojan Javaheripi and Piero Kauffmann and Gustavo de Rosa and Olli Saarikivi and Adil Salim and Shital Shah and Harkirat Singh Behl and Xin Wang and Sébastien Bubeck and Ronen Eldan and Adam Tauman Kalai and Yin Tat Lee and Yuanzhi Li},
journal= {arXiv preprint arXiv:2306.11644},
year = {2023}
}
备注
26 pages; changed color scheme of plot. fixed minor typos and added couple clarifications