基于深度强化学习的程序化游戏关卡设计

程序化内容生成(PCG)在游戏开发中日益流行,它使开发者能够以更少的人工投入生成动态、可重玩且可扩展的环境。本研究提出了一种在基于 Unity 的三维环境中使用深度强化学习(DRL)进行程序化关卡设计的新方法。该系统包含两个智能体:一个蜂鸟智能体,作为求解器;以及一个浮空岛智能体,负责以真实且上下文感知的方式在地面上生成并放置可收集物品(花朵)。蜂鸟使用 Unity ML-Agents 工具包中的近端策略优化(PPO)算法进行训练。它学习高效穿越地形、定位花朵并加以收集,同时适应岛屿不断变化的程序化布局。岛屿智能体同样使用近端策略优化(PPO)算法进行训练。它根据所观察到的障碍物位置、蜂鸟的初始状态以及来自先前回合的性能反馈,学习生成花朵布局。这些智能体之间的交互产生了涌现行为,并对各种环境配置实现了稳健的泛化。结果表明,该方法不仅能产生有效且高效的智能体行为,还为由机器学习驱动的自主游戏关卡设计开辟了新的机会。本工作凸显了 DRL 在使智能体能够在虚拟环境中同时生成与求解内容方面的潜力,拓展了 AI 对创造性游戏开发流程所能贡献的边界。