切勿大意：像素基深度强化学习中的规模挑战

在像素基环境中扩展深度强化学习 presents a significant challenge，常常导致性能下降。虽然最近的工作提出了算法和架构方法来解决这一问题，但导致性能下降的根本原因仍不清晰。本文我们识别了编码器（由卷积层堆叠而成）的输出与随后密集层之间的连接作为限制扩展能力的主要因素；我们将这一连接称为瓶颈，并演示了以往方法隐式地针对该瓶颈。由于我们的分析，我们提出全球平均池化作为一种简单而有效的针对瓶颈的方法，从而避免了早期方法的复杂性。