数字红 queens：基于 LLM 的核心战争中的对抗性程序演化

大语言模型（LLM）正越来越多地被用于解决多个领域的问题，其演化过程受生物进化的启发。然而，与生物进化不同，大多数 LLM-演化框架被建模为静态优化问题，忽略了构成真实进化过程的开放性对抗动态。本文研究了数字红 queens（DRQ）——一种简单自我对弈算法，通过持续适应变化目标来拥抱这些所谓的“红 queens”动态。DRQ 使用 LLM 演化类似汇编的程序，称为 warrior，这些 warrior 在 Core War 这一图灵完备环境中竞争，以控制虚拟机。DRQ 的每一轮中，模型都会演化一个新 warrior 以击败所有先前的 warrior，产生一系列已适应的 warrior。经过多轮后，我们观察到 warrior 在针对一组保持分离的 human warrior 时变得越来越通用。有趣的是，warrior 在独立运行中也变得越来越少样本化，表明存在一种通用行为策略的收敛压力，这类似于自然界中的收敛进化。这一结果突显了从静态目标转向动态红 queens 目标的潜在价值。我们的工作将 Core War 定位为研究人工系统对抗性适应的丰富、可控沙箱，并用于评估基于 LLM 的演化方法。更广泛地说，DRQ 的简单性和有效性表明，类似的简单自我对弈方法在其他更实用的多智能体对抗领域（如现实网络安全或对抗药物抗性）中也可能具有应用价值。