模块化网络在基于模型的多任务强化学习中防止灾难性干扰
机器学习
2021-11-17 v1 人工智能
摘要
在多任务强化学习设定中，学习者通常通过利用多个相关任务间的相似性而受益于联合训练。同时，训练后的智能体能够解决更广泛的不同问题。尽管该效应在免模型多任务方法中已有充分记载，我们展示了当使用单一学习的动力学模型服务于多任务时会呈现有害效应。因此，我们探讨一个基本问题：基于模型的多任务强化学习是否如同免模型方法借助共享策略网络那样受益于共享动力学模型。使用单一动力学模型时，我们清晰观察到任务混淆与性能下降的证据。作为补救，通过为每个任务训练隔离的子网络来强制所学动力学模型的内部结构，可在参数量相同的情况下显著提升性能。我们通过在一个简单网格世界与更复杂的 vizdoom 多任务实验上比较两种方法阐明了我们的发现。
引用
@article{arxiv.2111.08010,
title = {Modular Networks Prevent Catastrophic Interference in Model-Based Multi-Task Reinforcement Learning},
author = {Robin Schiewer and Laurenz Wiskott},
journal= {arXiv preprint arXiv:2111.08010},
year = {2021}
}
备注
15 pages, preprint of a paper presented at the LOD 2021