FootGPT：极小设定下的大语言模型开发实验

根据近期的经验观察，有观点认为相较于神经参数数量、训练时长或数据集规模，开发精确语言模型最重要的方面可能是恰当的数据集内容与训练策略。遵循此观点，我们选择使用一个十亿参数的已训练通用因果语言模型，以基于意大利足球联赛前十个比赛周的球队统计所策划的数据集，采用低秩自适应（low rank adaptation）进行微调。该有限训练数据集基于一个框架编译，其中强大的商业大语言模型按需提供蒸馏段落与问答对。训练时长保持相对较短，以为我们的极小设定探索提供基础。我们在本文中分享了关于以受限资源开发旨在解读足球数据的专用语言模型过程的关键观察。