变分选项发现算法
人工智能
2018-07-30 v1
摘要
我们探索基于变分推断的选项发现方法，并做出两项算法贡献。第一：我们强调了变分选项发现方法与变分自编码器之间的紧密联系，并由此联系引入了一种新方法——基于强化学习的选项变分自编码学习（VALOR）。在 VALOR 中，策略将来自噪声分布的上下文编码为轨迹，解码器从完整轨迹中恢复上下文。第二：我们提出了一种课程学习方法，每当智能体在当前上下文集合上的性能足够强（由解码器衡量）时，就增加智能体所见上下文的数量。我们表明，这一简单技巧稳定了 VALOR 及先前变分选项发现方法的训练，使得单个智能体能够学习比使用固定上下文分布时多得多的行为模式。最后，我们研究了与变分选项发现相关的其他主题，包括该通用方法的基本局限以及所学选项对下游任务的适用性。
引用
@article{arxiv.1807.10299,
title = {Variational Option Discovery Algorithms},
author = {Joshua Achiam and Harrison Edwards and Dario Amodei and Pieter Abbeel},
journal= {arXiv preprint arXiv:1807.10299},
year = {2018}
}