LLM Web 动态：网络层面大语言模型模型崩溃的追踪分析
机器学习
2025-07-25 v3 人工智能
社会与信息网络
统计方法学
摘要
合成数据来源于公开互联网的使用已提高了大语言模型（LLM）训练的数据使用效率。然而，模型崩溃的潜在威胁仍未得到充分探讨。现有研究主要在单模型设置下examining模型崩溃，或仅依赖统计代理。本文引入LLM Web 动态（LWD），一个用于在网络层面调查模型崩溃的高效框架。通过构建检索增强生成（RAG）数据库模拟互联网，分析模型输出的收敛模式。进一步，通过将其类比为相互作用的高斯混合模型，提供了收敛性的理论保证。
引用
@article{arxiv.2506.15690,
title = {LLM Web Dynamics: Tracing Model Collapse in a Network of LLMs},
author = {Tianyu Wang and Akira Horiguchi and Lingyou Pang and Carey E. Priebe},
journal= {arXiv preprint arXiv:2506.15690},
year = {2025}
}