利用 Elephant 激活函数减少遗忘以实现高效的强化学习
机器学习
2025-09-24 v1
摘要
几十年来，灾难性遗忘一直是高效强化学习面临的重大挑战（Ring 1994, Rivest and Precup 2003）。尽管近期研究提出了缓解该问题的有效方法，但它们主要侧重于算法层面。同时，我们尚未完全理解神经网络的哪些架构特性会导致灾难性遗忘。本研究旨在填补这一空白，探讨激活函数在神经网络训练动力学中的作用及其对强化学习环境中灾难性遗忘的影响。我们的研究表明，除了稀疏表示外，激活函数的梯度稀疏性在减少遗忘方面也起着重要作用。基于这一洞察，我们提出了一类新的激活函数——Elephant 激活函数，它能够同时生成稀疏输出和稀疏梯度。我们证明，在基于值的算法的神经网络中，只需将经典激活函数替换为 Elephant 激活函数，即可显著提升神经网络对灾难性遗忘的抵御能力，从而提高强化学习的样本效率和内存效率。
引用
@article{arxiv.2509.19159,
title = {Efficient Reinforcement Learning by Reducing Forgetting with Elephant Activation Functions},
author = {Qingfeng Lan and Gautham Vasan and A. Rupam Mahmood},
journal= {arXiv preprint arXiv:2509.19159},
year = {2025}
}
备注
Code release: https://github.com/qlan3/ENN