Impoola：平均池化在基于图像的深度强化学习中的威力
机器学习
2025-09-04 v2 人工智能
摘要
随着基于图像的深度强化学习处理更具挑战性的任务，增大模型规模已成为提升性能的重要因素。近期研究通过关注缩放网络的参数效率来实现这一点，通常使用 Impala-CNN（一个受 ResNet 启发的 15 层网络）作为图像编码器。然而，尽管 Impala-CNN 明显优于旧的 CNN 架构，但针对深度强化学习专用图像编码器的网络设计潜在改进仍很大程度上未被探索。我们发现，将 Impala-CNN 中输出特征图的展平操作替换为全局平均池化会带来显著的性能提升。该方法在 Procgen Benchmark 中优于更大、更复杂的模型，在泛化能力方面尤为突出。我们将提出的编码器模型称为 Impoola-CNN。网络平移敏感性的降低可能是这一改进的核心，因为我们观察到在没有以智能体为中心的观察的游戏中获得了最显著的收益。我们的结果表明，网络缩放不仅仅是增大模型规模——高效的网络设计也是一个必不可少的因素。我们在 https://github.com/raphajaner/impoola 公开了代码。
引用
@article{arxiv.2503.05546,
title = {Impoola: The Power of Average Pooling for Image-Based Deep Reinforcement Learning},
author = {Raphael Trumpp and Ansgar Schäfftlein and Mirco Theile and Marco Caccamo},
journal= {arXiv preprint arXiv:2503.05546},
year = {2025}
}
备注
Reinforcement Learning Conference 2025