位置：随机鸽子中的聪明鹦鹉。模型崩溃是低资源社区的威胁
机器学习
2026-05-07 v1 计算与语言
计算机与社会
摘要
模型崩溃是指生成式模型在训练先前模型的输出时所出现的性能下降，这是人工生成内容日益增长所带来的日益担忧的相关问题。对大型语言模型的相关批评强调了其倾向于复制训练数据中常见模式、依赖庞大数据集，以及巨大的环境成本。这些因素共同导致数据退化、文化偏见的强化以及资源使用的低效。在本位置论文中，我们旨在将这些观点结合起来，论证模型崩溃威胁当前 democratize AI 的努力。通过降低训练效率并将数据分布从其支持分布的尾部偏离，模型崩溃对低资源和被边缘化的社区产生了不成比例的影响。我们审查了这种现象的环境和文化影响，将我们的立场置于最近关于模型崩溃的位置论文之中，并提出了行动的呼吁。最后，我们概述了缓解这些效果的初始方向。
引用
@article{arxiv.2605.04127,
title = {Position: the Stochastic Parrot in the Coal Mine. Model Collapse is a Threat to Low-Resource Communities},
author = {Devon Jarvis and Richard Klein and Benjamin Rosman and Steven James and Stefano Sarao Mannelli},
journal= {arXiv preprint arXiv:2605.04127},
year = {2026}
}
备注
13 pages, 1 figure, International Conference on Machine Learning