尾巴的故事：模型崩溃作为标度律的变化
机器学习
2024-06-03 v2 人工智能
计算与语言
摘要
随着AI模型规模的增大，神经标度律已成为预测大型模型在增加容量和原始（人类或自然）训练数据大小时性能提升的关键工具。然而，流行模型的广泛使用意味着在线数据和文本的生态系统将共同演化，逐渐包含越来越多的合成数据。在本文中，我们提出疑问：在合成数据不可避免地进入训练语料库的情况下，标度律将如何变化？未来的模型是会继续改进，还是注定退化直至完全（模型）崩溃？我们通过标度律的视角，建立了一个模型崩溃的理论框架。我们发现了广泛的衰减现象，分析了标度律的丧失、随世代数变化的标度律偏移、技能的“遗忘”，以及混合人类与合成数据时的顿悟现象。我们的理论通过使用Transformer在算术任务上的大规模实验以及使用大型语言模型Llama2进行文本生成得到了验证。
引用
@article{arxiv.2402.07043,
title = {A Tale of Tails: Model Collapse as a Change of Scaling Laws},
author = {Elvis Dohmatob and Yunzhen Feng and Pu Yang and Francois Charton and Julia Kempe},
journal= {arXiv preprint arXiv:2402.07043},
year = {2024}
}