当 LLM 玩接力游戏:文化吸引子作为评估多轮 LLM 交互的概念工具
物理与社会
2026-01-30 v4 人工智能
多智能体系统
摘要
随着大语言模型(LLMs)开始相互交互并在线上生成大量文本,更深入地理解信息在一个 LLM 传递到下一个 LLM 时的变形变化变得至关重要。虽然已有大量研究考察了单个 LLM 的行为,但现有研究在较大程度上忽略了 LLM 交互的集体行为以及由此产生的信息失真。即使在单个输出层面上的小偏差,在迭代交互中也可能被放大,导致内容演化为吸引子状态。在一系列接力游戏实验中,我们借用人类文化演化文献中的传递链设计:LLM 代理依次接收、生成并传递前一个代理的文本。通过追踪文本毒性、积极性、难度和长度在传递链中的演化,我们发现了偏差和吸引子的存在,并研究了它们对初始文本、指令、语言模型和模型规模的依赖性。例如,我们发现更开放式的指令会导致更强的吸引效应,而相比于受约束的任务则表现更为突出。我们也发现不同的文本属性对吸引效应的灵敏度各不相同,其中毒性导致的吸引作用强于长度。这些发现突显了在多步骤传递动态中考虑的重要性,并代表了对 LLM 文化动力学进行更全面理解的第一步。
引用
@article{arxiv.2407.04503,
title = {When LLMs Play the Telephone Game: Cultural Attractors as Conceptual Tools to Evaluate LLMs in Multi-turn Settings},
author = {Jérémy Perez and Grgur Kovač and Corentin Léger and Cédric Colas and Gaia Molinaro and Maxime Derex and Pierre-Yves Oudeyer and Clément Moulin-Frier},
journal= {arXiv preprint arXiv:2407.04503},
year = {2026}
}
备注
Code available at https://github.com/jeremyperez2/TelephoneGameLLM. Companion website with a Data Explorer tool at https://sites.google.com/view/telephone-game-llm . This paper was published at the 2025 International Conference on Learning Representations (ICLR2025) https://iclr.cc/virtual/2025/poster/28880