用于强化学习内容生成器的局部约束学习
人工智能
2026-05-14 v1 机器学习
摘要
基于从现有内容学习局部约束的约束式游戏内容生成器，如波浪函数坍塌 (WFC)，能够生成视觉满意的游戏关卡，但面临无法保证全局属性（如可玩性）的挑战。另一方面，基于强化学习训练的生成器能够保证全局属性——因为这些属性可以轻松纳入奖励函数中——但结果可能在视觉上不令人满意。本文探索了将这些方法结合的办法。具体而言，我们通过学习得到的 WFC 约束来限制 PCGRL 生成器的动作空间，有效地使 PCGRL 生成器能够在遵守局部约束的同时实现全局属性。为更好地分析这种混合内容生成方法的运行方式，我们变化输入的数量和类型，并测试是否对起始状态进行随机坍塌或排除罕见图案。尽管该方法对超参数调优敏感，但我们训练的最佳生成器能够产生视觉满意且可玩的拼图-平台游戏关卡——例如 Lode Runner 关卡——并实现所需的全局属性。
引用
@article{arxiv.2605.13570,
title = {Learning Local Constraints for Reinforcement-Learned Content Generators},
author = {Debosmita Bhaumik and Julian Togelius and Georgios N. Yannakakis and Ahmed Khalifa},
journal= {arXiv preprint arXiv:2605.13570},
year = {2026}
}