大型语言模型能否在博弈论中充当理性玩家？系统性分析
人工智能
2023-12-13 v2 计算与语言
计算机科学与博弈论
摘要
博弈论作为一种分析工具，常被用于社会科学研究中分析人类行为。鉴于大型语言模型（LLMs）的行为与人类高度一致，一个极具前景的研究方向是在博弈实验中用 LLMs 替代人类，从而赋能社会科学研究。然而，尽管已有大量关于 LLMs 与博弈论结合的实证研究，LLMs 在博弈论中的能力边界仍不清晰。在本研究中，我们致力于在博弈论语境下系统分析 LLMs。具体而言，理性作为博弈论的基本原则，是评估玩家行为的指标——建立明确的意愿、修正对不确定性的信念并采取最优行动。因此，我们选择三种经典博弈（独裁者博弈、石头剪刀布和环形网络博弈）来分析 LLMs 在这三个方面能在多大程度上实现理性。实验结果表明，即使是当前最先进的 LLM（GPT-4），在博弈论中与人类相比仍存在显著差距。例如，LLMs 难以基于非常规偏好建立意愿，无法从许多简单模式中修正信念，并且在采取行动时可能会忽略或修改已修正的信念。因此，我们认为在社会科学领域的博弈实验中引入 LLMs 应持更加谨慎的态度。
引用
@article{arxiv.2312.05488,
title = {Can Large Language Models Serve as Rational Players in Game Theory? A Systematic Analysis},
author = {Caoyun Fan and Jindou Chen and Yaohui Jin and Hao He},
journal= {arXiv preprint arXiv:2312.05488},
year = {2023}
}
备注
AAAI 2024