ACTRCE：通过教师建议增强经验的多目标强化学习
机器学习
2019-02-13 v1 人工智能
神经与进化计算
机器学习
摘要
稀疏奖励是强化学习（RL）中最具挑战性的问题之一。后见经验回放（HER）试图通过将失败经验的目标重新标记从而转化为成功经验，以解决此问题。尽管有效，HER因缺乏紧凑且通用的目标表示而适用性有限。我们提出通过教师建议增强经验（ACTRCE），一种高效的强化学习技术，使用自然语言作为目标表示来扩展HER框架。我们首先分析了目标表示间的差异，并表明ACTRCE能在困难的3D导航任务中高效解决困难强化学习问题，而使用非语言目标表示的HER未能学习。我们还表明，借助语言目标表示，智能体可泛化至未见过的指令，甚至泛化至含未见词汇的指令。我们进一步证明，使用后见建议来解决困难任务至关重要，且即便少量建议也足以让智能体取得良好性能。
引用
@article{arxiv.1902.04546,
title = {ACTRCE: Augmenting Experience via Teacher's Advice For Multi-Goal Reinforcement Learning},
author = {Harris Chan and Yuhuai Wu and Jamie Kiros and Sanja Fidler and Jimmy Ba},
journal= {arXiv preprint arXiv:1902.04546},
year = {2019}
}