自适应有理激活函数以提升深度强化学习
机器学习
2024-03-19 v5
摘要
生物学的最新见解表明，智能不仅源于神经元之间的连接，而且单个神经元承担着比先前预期更多的计算职责。在持续变化的各异强化学习环境背景下，这一视角应至关重要，然而当前方法仍主要使用静态激活函数。本文中，我们论证了有理函数为何适用于自适应激活函数，以及将其引入神经网络为何关键。受残差网络中递归结构的启发，我们推导了有理单元在残差连接下封闭的条件，并给出了自然正则化的版本：递归有理单元。我们证明，为流行算法配备（递归）有理激活函数可在 Atari 游戏上带来一致的提升，尤其使简单 DQN 成为一种稳健的方法，可与 DDQN 和 Rainbow 竞争。
引用
@article{arxiv.2102.09407,
title = {Adaptive Rational Activations to Boost Deep Reinforcement Learning},
author = {Quentin Delfosse and Patrick Schramowski and Martin Mundt and Alejandro Molina and Kristian Kersting},
journal= {arXiv preprint arXiv:2102.09407},
year = {2024}
}
备注
Main paper: 9 pages, References: 4 pages, Appendix: 11 pages. Main paper: 5 figures, Appendix: 6 figures, 6 tables. Rational Activation Functions repository: https://github.com/k4ntz/activation-functions Rational Reinforcement Learning: https://github.com/ml-research/rational_rl