基于正交专家混合的多任务强化学习
机器学习
2024-05-07 v2
摘要
多任务强化学习（MTRL）致力于解决一个长期存在的问题，即赋予智能体可泛化至各类问题的技能。为此，共享表征在捕捉任务独有与共性特征方面发挥着基础作用。任务可能在技能、物体或物理属性上呈现相似性，而利用它们的表征可简化通用策略的达成。然而，学习一组共享的多样表征仍是开放挑战。本文中，我们引入一种 MTRL 中表征学习的新方法，利用正交表征封装任务间共性结构以促进多样性。我们的方法名为正交专家混合（MOORE），借助 Gram-Schmidt 过程来塑造由专家混合生成的共享表征子空间。当提供任务特定信息时，MOORE 从该共享子空间生成相关表征。我们在两个 MTRL 基准（即 MiniGrid 与 MetaWorld）上评估了方法有效性，表明 MOORE 超越相关基线，并在 MetaWorld 上确立了新的 SOTA 结果。
引用
@article{arxiv.2311.11385,
title = {Multi-Task Reinforcement Learning with Mixture of Orthogonal Experts},
author = {Ahmed Hendawy and Jan Peters and Carlo D'Eramo},
journal= {arXiv preprint arXiv:2311.11385},
year = {2024}
}
备注
Accepted at the Twelfth International Conference on Learning Representations (ICLR 2024)