利用自博弈与来自 AI 反馈的上下文学习改进语言模型谈判
计算与语言
2023-05-18 v1
摘要
我们研究多个大型语言模型 (LLM) 能否在谈判博弈中通过博弈、反思和批评来自主地相互改进。我们对这个问题感兴趣，因为如果 LLM 能够相互改进，这将意味着有可能以最少的人工干预创建强大的 AI 智能体。我们让两个 LLM 相互谈判，分别扮演买家和卖家的角色。他们的目标是达成交易，买家追求更低的价格，卖家追求更高的价格。第三个语言模型扮演批评者，向玩家提供反馈以改进玩家的谈判策略。我们让这两个智能体进行多轮博弈，使用之前的谈判历史和 AI 反馈作为上下文示例，以迭代地改进模型的谈判策略。我们为不同角色使用不同的 LLM (GPT 和 Claude)，并使用成交价格作为评估指标。我们的实验揭示了多个有趣的发现：(1) 在我们考虑的语言模型中，只有一部分能够通过自博弈并利用 AI 反馈来改进成交价格，较弱的模型要么不理解游戏规则，要么无法结合 AI 反馈进行进一步改进。(2) 模型从反馈中学习的能力在扮演不同角色时有所不同。例如，Claude-instant 作为买家比作为卖家更难改进。(3) 当将博弈展开到多轮时，较强的智能体能够通过有意义地利用先前经验和迭代 AI 反馈来持续提升其表现，但有打破交易的风险。我们希望我们的工作能为通过博弈和 AI 反馈让模型自主相互改进提供有见地的初步探索。
引用
@article{arxiv.2305.10142,
title = {Improving Language Model Negotiation with Self-Play and In-Context Learning from AI Feedback},
author = {Yao Fu and Hao Peng and Tushar Khot and Mirella Lapata},
journal= {arXiv preprint arXiv:2305.10142},
year = {2023}
}
备注
Preprint. Code at https://github.com/FranxYao/GPT-Bargaining