强化学习中何种辅助任务有用：探究目标策略的影响
人工智能
2022-04-04 v1 机器学习
摘要
辅助任务被认为对强化学习中的表征学习有用。尽管许多辅助任务已在经验上被证明能加速主任务的学习，但何种因素使辅助任务有用尚不清楚。一些最有前景的结果出现在像素控制、奖励预测与下一状态预测等辅助任务上；然而经验结果参差不齐，在某些情况下有显著改进，在其他情况下仅有边际改进。仔细研究辅助任务如何帮助主任务的学习是必要的。本文迈出了研究目标策略对表述为一般价值函数的辅助任务之有用性影响的一步。一般价值函数由三个核心要素组成：1) 策略 2) 累积量 3) 延续函数。我们关注辅助任务目标策略的作用，其动机在于目标策略决定了智能体欲对其做预测的行为以及智能体所训练的状态-动作分布，这进一步影响主任务学习。我们的研究对如下问题提供了见解：贪心策略是否比其他策略带来更大的改进收益？是否最好将辅助任务策略设得与主任务策略相同？目标策略的选择对所能达到的性能增益有实质影响，还是诸如使用均匀随机策略这类简单策略设定也同样有效？我们的经验结果表明：1) 采用贪心策略的辅助任务往往有用。2) 大多数策略，包括均匀随机策略，往往优于基线。3) 令人惊讶的是，与主任务策略相比，其他策略往往用处更小。
引用
@article{arxiv.2204.00565,
title = {What makes useful auxiliary tasks in reinforcement learning: investigating the effect of the target policy},
author = {Banafsheh Rafiee and Jun Jin and Jun Luo and Adam White},
journal= {arXiv preprint arXiv:2204.00565},
year = {2022}
}