面向 Roguelike 游戏中随设计参数变化而自适应的 NPC 行为的深度策略网络
机器学习
2020-12-08 v1 人工智能
摘要
深度强化学习(DRL)的近期进展主要集中于提升智能体性能,旨在以之替代已知且定义明确环境中的人类。这些技术作为电子游戏制作中的游戏设计工具(其目标是创建非玩家角色(NPC)行为)直到最近才受到相对较少关注。例如,如 Roguelikes 般的回合制策略游戏对 DRL 提出了独特挑战。特别是,其由许多具不同属性的实体构成的复杂游戏状态的类别化本质,要求智能体能学习如何比较并优先处理这些实体。此外,这种复杂性常导致智能体过拟合于训练中所见状态,且无法在开发期间面对设计变更时泛化。本文提出两种网络架构,其与\emph{程序化战利品生成}系统结合时,能更好处理复杂类别化状态空间,并缓解因设计决策而被迫重新训练的需求。第一种基于类别输入空间的稠密嵌入,其抽象离散观测模型并使训练后智能体更具泛化能力。第二种所提架构更通用,基于能对输入及输入属性进行关系推理的 Transformer 网络。我们的实验评估表明,新智能体相较基线架构具有更好的适应能力,使该框架对开发过程中的动态玩法变更更为鲁棒。基于本文所示结果,我们认为这些方案代表着使 DRL 更易被游戏产业接纳的一步。
引用
@article{arxiv.2012.03532,
title = {Deep Policy Networks for NPC Behaviors that Adapt to Changing Design Parameters in Roguelike Games},
author = {Alessandro Sestini and Alexander Kuhnle and Andrew D. Bagdanov},
journal= {arXiv preprint arXiv:2012.03532},
year = {2020}
}
备注
Presented at the AAAI-21 Workshop on Reinforcement Learning in Games