多任务表示学习在决策过程中的作用机制分析

多任务表示学习 (MRL) 已成为提高强化学习 (RL) 样本效率的流行技术。经验研究发现，在在线和迁移学习环境中同时训练多个任务可显著提升效率。尽管该方法广受欢迎，但尚无完整的理论框架阐明其实际效果。以往的分析主要假设智能体已知表示函数或采用线性函数类，而这两种假设在实际中都不切实际。实际应用的复杂性通常要求使用神经网络等复杂非线性函数作为表示函数，这些函数并非预先确定，而需由学习获得。我们的工作致力于填补这一空白，通过将分析扩展至未知非线性表示，给出在在线和迁移学习情境下的完整分析。我们考虑智能体同时进行 $M$ 个情境式臂带问题 (或 MDP)，从非线性函数类 $\Phi$ 中学习共享表示函数 $\phi$，并采用我们提出的通用功能上置信上界算法 (GFUCB)。我们正式证明，该方法的累积懊急上界优于学习 $M$ 个独立任务的下界，标志着首次在通用函数类中展示 MRL 的有效性。该框架还解释了在应对新相关任务时的表示对迁移学习的贡献，并识别了成功迁移的关键条件。实验进一步证实了我们的理论发现。