基于 Transformer 的游戏玩家：预训练模型可证明的类情境游戏-playing 能力
机器学习
2024-11-03 v1 计算机科学与博弈论
信息论
机器学习
多智能体系统
math.IT
摘要
基于 Transformer 架构的预训练模型的类情境学习（ICL）能力近年来受到广泛关注。虽然已获得 RL 中 ICL 的理论理解，但先前结果基本局限于单智能体环境。本工作旨在进一步探索基于 Transformer 预训练模型在竞争多智能体游戏中的类情境学习能力，即类情境游戏-player（ICGP）。本研究聚焦于经典双人零和游戏，提供理论保证，表明预训练的 Transformer 在类情境方式下可证明地逼近纳什均衡，适用于去中心化和中心化学习环境。作为证明的关键部分，建立了构造性结果，表明 Transformer 架构足够丰富，能够实现著名的多智能体游戏算法，特别是去中心化 V-learning 和中心化 VI-ULCB。
引用
@article{arxiv.2410.09701,
title = {Transformers as Game Players: Provable In-context Game-playing Capabilities of Pre-trained Models},
author = {Chengshuai Shi and Kun Yang and Jing Yang and Cong Shen},
journal= {arXiv preprint arXiv:2410.09701},
year = {2024}
}
备注
Accepted to NeurIPS 2024