多任务强化学习中稀疏性驱动的可塑性
机器学习
2025-08-12 v1 人工智能
摘要
可塑性丧失，即随着训练进行适应能力逐渐下降，是深度强化学习中的一个关键挑战。我们在多任务强化学习（MTRL）中审视了这一问题，在MTRL中，更高的表征灵活性对于管理多样化且可能相互冲突的任务需求至关重要。我们系统地探索了稀疏化方法，特别是渐进式幅度剪枝（GMP）和稀疏进化训练（SET），如何增强MTRL智能体的可塑性并因此提高性能。我们在标准化的MTRL基准上，针对不同的MTRL架构（共享骨干网络、专家混合、正交专家混合）评估了这些方法，并与密集基线以及一系列全面的替代性可塑性诱导或正则化方法进行了比较。我们的结果表明，GMP和SET均能有效缓解可塑性退化的关键指标，如神经元休眠和表征坍塌。这些可塑性的提升通常与多任务性能的增强相关，稀疏智能体经常优于密集智能体，并在与显式可塑性干预措施的竞争中取得有竞争力的结果。我们的发现为可塑性、网络稀疏性和MTRL设计之间的相互作用提供了见解，突显了动态稀疏化作为一种鲁棒但依赖于具体情境的工具，可用于开发更具适应性的MTRL系统。
引用
@article{arxiv.2508.06871,
title = {Sparsity-Driven Plasticity in Multi-Task Reinforcement Learning},
author = {Aleksandar Todorov and Juan Cardenas-Cartagena and Rafael F. Cunha and Marco Zullich and Matthia Sabatelli},
journal= {arXiv preprint arXiv:2508.06871},
year = {2025}
}