Hadamax 编码：在无模型 Atari 中的性能提升
机器学习
2025-05-26 v2 人工智能
摘要
神经网络架构对机器学习影响巨大。在强化学习中，网络架构一直保持相对简单，因为修改往往仅带来性能的微小提升。本文引入一种用于基于像素的无模型强化学习的新型编码器架构。Hadamax（Hadam max-pooling）编码器通过对 GELU 激活的平行隐藏层进行 Hadamard 乘积的最大池化，实现了状态的最佳性能。基于最新的 PQN 算法，Hadamax 编码器在 Atari-57 基准测试中实现了无模型性能的 SOTA。具体而言，在不进行任何算法超参数修改的情况下，Hadamax-PQN 相较于 vanilla PQN 实现了 80% 的性能提升，并显著超越 Rainbow-DQN。为保证可重复性，完整代码已在 GitHub 上提供。
引用
@article{arxiv.2505.15345,
title = {Hadamax Encoding: Elevating Performance in Model-Free Atari},
author = {Jacob E. Kooi and Zhao Yang and Vincent François-Lavet},
journal= {arXiv preprint arXiv:2505.15345},
year = {2025}
}