动作自适应持续学习：面向动态动作空间的策略泛化
机器学习
2025-06-09 v1 人工智能
摘要
持续学习（CL）是一种强大的工具，使智能体能够学习一系列任务，积累过去的知识，并用于问题解决或未来任务学习。然而，现有CL方法常假设智能体的能力在动态环境中保持静态，这并不符合现实场景——即能力会随环境变化而动态变化。本文引入一种新颖且更贴近现实的问题：具有动态能力的持续学习（CL-DC），为CL智能体提出了重大挑战：如何实现跨不同动作空间的策略泛化？灵感来自皮层功能，我们提出动作自适应持续学习框架（AACL）以应对这一挑战。该框架通过构建动作表示空间，将智能体的策略与特定动作空间解耦。对于新动作空间，框架对动作表示的编码器-解码器进行自适应微调，以在稳定性与可塑性之间取得平衡。此外，我们基于三个环境发布了基准测试，以验证CL-DC方法的有效性。实验结果表明，该框架在跨动作空间泛化策略方面超越了流行方法。
引用
@article{arxiv.2506.05702,
title = {Action-Adaptive Continual Learning: Enabling Policy Generalization under Dynamic Action Spaces},
author = {Chaofan Pan and Jiafen Liu and Yanhua Li and Linbo Xiong and Fan Min and Wei Wei and Xin Yang},
journal= {arXiv preprint arXiv:2506.05702},
year = {2025}
}