一次训练，应对所有问题：为一个预训练实验的成本 conducting 多项实验

最近的工作表明，受控的预训练实验是研究训练数据与大型语言模型（LLM）行为关系的强大工具。然而，预训练的计算成本是一个重要约束。为克服这一约束，我们提出一种新方法，在单次训练运行中同时进行多个实验。我们通过在2100亿标记上进行训练（模型最高达27亿参数）来验证该方法。虽然模型只训练一次，但我们可以复制前述多个工作在数据污染、投毒和记忆方面的结果。我们还对知识获取、数学推理和水印进行了独特的调查。例如，我们动态更新训练数据直至模型获取特定知识。令人惊讶的是，实验对模型训练动力学和整体性能的影响很小。然而，实验之间的相互作用可能作为该方法的混杂因素。我们提出了持续预训练依赖性测试（CPDT），一种新型技术用于测试持续预训练实验的相互作用，在我们的设置中表明这些相互作用可以忽略不计。总体而言，我们的结果表明，在计算预算有限的情况下，可以在单个训练运行中进行多个预训练实验，以实现大规模模型的严谨科学实验。