自消耗生成模型陷入 MAD 状态
机器学习
2023-07-06 v1 人工智能
计算机视觉与模式识别
摘要
图像、文本及其他数据类型的生成式 AI 算法的地震式进展，导致了使用合成数据来训练下一代模型的诱惑。重复这一过程会产生一个自噬（自消耗）循环，其性质尚知之甚少。我们使用三个系列的最先进生成图像模型，对自噬循环进行了深入的分析与实证分析，这些循环在每一代训练中可获得固定或新鲜真实训练数据的程度，以及前代模型样本是否被偏置以权衡数据质量与多样性方面有所不同。我们在所有场景下的主要结论是：若自噬循环的每一代中没有足够的新鲜真实数据，未来的生成模型注定其质量（精度）或多样性（召回率）将逐步下降。我们将此状况称为模型自噬障碍（Model Autophagy Disorder, MAD），类比于疯牛病。
引用
@article{arxiv.2307.01850,
title = {Self-Consuming Generative Models Go MAD},
author = {Sina Alemohammad and Josue Casco-Rodriguez and Lorenzo Luzi and Ahmed Imtiaz Humayun and Hossein Babaei and Daniel LeJeune and Ali Siahkoohi and Richard G. Baraniuk},
journal= {arXiv preprint arXiv:2307.01850},
year = {2023}
}
备注
31 pages, 31 figures, pre-print