多智能体 KTO：在语言游戏中强化大语言模型的战略互动

实现人工通用智能（AGI）需要能够不仅做出战略决策，还能进行灵活且有意义的交流的 AI 智能体。灵感来自维特根斯坦的《哲学探讨》中的语言游戏理论，我们提出语言智能体可以通过上下文交互来学习，而非传统的多阶段框架，这些框架将决策-making 与语言表达分离。使用狼人游戏，这是一种测试语言理解、战略互动和适应性的社会推理游戏，我们发展了多智能体卡恩曼 & 特韦斯基优化（MaKTO）。MaKTO 让不同模型进行大量游戏，以生成无配对的理想和不可接受响应，然后使用 KTO 来优化模型的决策-making 过程。在 9 玩家狼人游戏中，MaKTO 在各种模型上的平均胜率达到 61%，相较于 GPT-4o 和两阶段 RL 智能体分别提升了 23.0% 和 10.9%。值得注意的是，MaKTO 还展示了类人水平的表现，对 expert 玩家的胜率为 60%，在图灵式盲测中的可检测性仅为 49%。