使用 LLM 分析规则协同效应:现状与影响
计算与语言
2025-08-28 v1
摘要
大型语言模型 (LLMs) 在逻辑推理、数学等多个领域展现出强大的性能。在本文中,我们研究 LLMs 如何理解和推理动态环境中复杂规则交互,例如卡牌游戏。我们引入一个来自游戏《Slay the Spire》的卡牌协同效应数据集,其中将卡牌对根据其正向、负向或中性互动进行分类。我们的评估显示,尽管 LLMs 在识别非协同效应的配对方面表现出色,但在检测正向协同效应,特别是负向协同效应方面仍感到困难。我们对常见的错误类型进行了分类,包括时间性、定义游戏状态和遵循游戏规则方面的问题。我们的发现表明,未来研究的方向,以改进模型在预测规则及其交互效果方面的性能。
引用
@article{arxiv.2508.19484,
title = {Rule Synergy Analysis using LLMs: State of the Art and Implications},
author = {Bahar Bateni and Benjamin Pratt and Jim Whitehead},
journal= {arXiv preprint arXiv:2508.19484},
year = {2025}
}
备注
Submitted for publication at the IEEE Transactions on Games 2024, Special Issue on Large Language Models and Games (10 pages excluding appendix, 3 figures)