基于仿真驱动的强化学习竞争性游戏关卡平衡
机器学习
2025-03-25 v1
摘要
竞争性双人游戏关卡的平衡过程涉及大量手工工作和测试,尤其是对于非对称的游戏关卡。在本文中,我们将游戏平衡问题建模为程序化内容生成任务,并提出了一种在 PCGRL (基于强化学习的程序化内容生成) 框架内自动平衡基于瓦片关卡的架构。我们的架构分为三个部分:(1) 关卡生成器,(2) 平衡智能体,以及 (3) 奖励建模仿真器。通过反复仿真,平衡智能体根据给定的平衡目标(例如所有玩家的胜率相等)获得调整关卡的奖励。为此,我们提出了新的基于交换的表示方法,以提高可玩性的鲁棒性,从而使智能体能够比传统 PCGRL 更有效、更快速地平衡游戏关卡。通过分析智能体的交换行为,我们可以推断出哪些瓦片类型对平衡影响最大。我们在 Neural MMO (NMMO) 环境中的竞争性双人场景下验证了我们的方法。在这篇扩展的会议论文中,我们展示了改进的结果,探索了该方法在等平衡之外的各种平衡形式上的适用性,将其性能与另一种基于搜索的方法进行了比较,并讨论了现有公平性指标在游戏平衡中的应用。
引用
@article{arxiv.2503.18748,
title = {Simulation-Driven Balancing of Competitive Game Levels with Reinforcement Learning},
author = {Florian Rupp and Manuel Eberhardinger and Kai Eckert},
journal= {arXiv preprint arXiv:2503.18748},
year = {2025}
}
备注
Preprint of the journal (IEEE Transactions on Games) paper of the same name