利用分布比率估计器训练兼具质量与多样性的学习智能体
机器学习
2020-11-06 v1 机器学习
摘要
质量-多样性（Quality-Diversity, QD）是神经进化中的一个概念，在强化学习中有一些引人入胜的应用。它有助于学习一个智能体种群，其中每个成员都被优化为在与其他成员相比时同时累积高任务回报并表现出行为多样性。在本文中，我们基于一种近期提出的、使用 Stein 变分梯度下降训练 QD 策略集成体的核方法展开研究。利用基于策略平稳分布之间 -散度的核，我们将该问题转化为这些平稳分布比率的高效估计问题。随后，我们研究了先前用于离策略评估与模仿的各种分布比率估计器，并将其重新用于计算集成体中各策略的梯度，使得所得种群兼具多样性与高质量。
引用
@article{arxiv.2011.02614,
title = {Harnessing Distribution Ratio Estimators for Learning Agents with Quality and Diversity},
author = {Tanmay Gangwani and Jian Peng and Yuan Zhou},
journal= {arXiv preprint arXiv:2011.02614},
year = {2020}
}
备注
CoRL 2020 camera-ready