具有可塑性注入的深度强化学习
机器学习
2023-10-05 v2 人工智能
摘要
越来越多的证据表明，深度强化学习（RL）中使用的神经网络会逐渐失去其可塑性，即学习新数据的能力；然而，由于RL中可塑性、探索与性能之间复杂的关系，对这一现象的分析与缓解受到阻碍。本文提出可塑性注入，一种极简干预方法，可在不改变可训练参数数量或偏置预测的情况下提升网络可塑性。该干预的应用有两方面：首先，作为诊断工具——若注入提升了性能，我们可推断智能体网络正在失去可塑性。该工具使我们能够识别出一组Atari环境，其中可塑性的缺失导致性能平台期，从而激励未来关于理解和对抗可塑性损失的研究。其次，若智能体因可塑性耗尽而需从头重新学习，或通过动态扩展智能体网络而不损害性能，可塑性注入可用于提升RL训练的计算效率。在Atari上的结果表明，与替代方法相比，可塑性注入在保持计算高效的同时获得了更强的性能。
引用
@article{arxiv.2305.15555,
title = {Deep Reinforcement Learning with Plasticity Injection},
author = {Evgenii Nikishin and Junhyuk Oh and Georg Ostrovski and Clare Lyle and Razvan Pascanu and Will Dabney and André Barreto},
journal= {arXiv preprint arXiv:2305.15555},
year = {2023}
}
备注
NeurIPS 2023 camera-ready