深度强化学习中的塑性损失: 综述
人工智能
2026-04-21 v3 机器学习
摘要
塑性指网络适应变化数据分布的能力,这是深度强化学习智能体成功训练的关键因素。塑性损失导致性能停滞,并贡献于扩展性失败、高估偏差以及不足够的探索。为深入理解塑性损失,本文提出了统一的定义,考察了其驱动因素和病态现象,并将超过50种缓解策略组织成该领域首个综合分类。我们的分析显示当前评估实践存在缺口,揭示常规正则化技术往往优于领域特定干预。未来研究应优先理解塑性损失背后的机制。
引用
@article{arxiv.2411.04832,
title = {Plasticity Loss in Deep Reinforcement Learning: A Survey},
author = {Timo Klein and Christoph Luther and Manus McAuliffe and Lukas Miklautz and Claudia Plant and Sebastian Tschiatschek},
journal= {arXiv preprint arXiv:2411.04832},
year = {2026}
}