Backpropamine：利用可微分神经调制可塑性训练自修改神经网络
神经与进化计算
2021-07-06 v1
摘要
动物大脑中令人印象深刻的终身学习主要由突触连接的可塑性变化实现。重要的是，这些变化并非被动，而是受神经调制主动控制，而神经调制本身受大脑控制。由此产生的大脑自修改能力在学习与适应中发挥重要作用，并是生物强化学习的主要基础。本文首次展示具有此类神经调制可塑性的神经网络可用梯度下降训练。扩展先前关于可微分 Hebbian 可塑性的工作，我们提出一种神经调制可塑性的可微分公式。我们表明神经调制可塑性提升了神经网络在强化学习与监督学习任务上的表现。在一项任务中，参数达数百万的神经调制可塑性 LSTM 在基准语言建模任务上优于标准 LSTM（控制参数量）。我们得出结论：可微分神经调制可塑性为训练神经网络提供了强大的新框架。
引用
@article{arxiv.2002.10585,
title = {Backpropamine: training self-modifying neural networks with differentiable neuromodulated plasticity},
author = {Thomas Miconi and Aditya Rawal and Jeff Clune and Kenneth O. Stanley},
journal= {arXiv preprint arXiv:2002.10585},
year = {2021}
}
备注
Presented at the 7th International Conference on Learning Representations (ICLR 2019)