在高级游戏环境中使用胶囊网络的深度强化学习

强化学习（RL）是一个近年来蓬勃发展的研究领域，并在计算机游戏中的基于人工智能的对手方面展现出显著潜力。这一成功主要归功于卷积神经网络（ConvNet）的强大能力，使算法能够从噪声环境中提取有用信息。胶囊网络（CapsNet）是深度学习算法族中最近引入的，仅刚开始被探索。该网络是一种用于图像分类的架构，在 MNIST 数据集的分类上表现出优越性能。CapsNet 尚未在图像分类之外被探索。本论文引入了将 CapsNet 用于基于 Q-Learning 的游戏算法。为成功将 CapsNet 应用于高级游戏对战，主要有以下三点贡献。第一，引入了四种新的游戏环境作为复杂度递增的 RL 研究框架，即 Flash RL、Deep Line Wars、Deep RTS 和 Deep Maze。这些环境填补了 RL 研究中相对简单与更复杂游戏环境之间的空白，并在本论文中用于测试和探索 CapsNet 的行为。第二，本论文引入了一种生成建模方法，用于生成人工训练数据以用于包括 CapsNet 在内的深度学习模型。我们通过经验表明，条件生成建模能够成功生成质量足够好的人工游戏数据来训练 Deep Q-Network。第三，我们表明 CapsNet 是基于 Deep Q-Learning 的游戏 AI 算法的可靠架构。胶囊是一组确定数据中对象存在的神经元，文献表明其可在减少所需训练数据量的同时增加训练和预测的鲁棒性。因此，它应当非常适合于游戏对战。