APART：基于全配对升奖与丢弃的正则化多样技能发现方法
机器学习
2023-08-25 v1 人工智能
摘要
我们研究无奖励环境中的多样技能发现，旨在在简单网格世界环境中发现所有可能的技能，而先前方法难以成功。该问题被表述为使用内在奖励的技能互训练，以及训练一个给定轨迹预测技能的判别器。我们的初始方案用一对一（全配对）判别器替换标准的一对多（softmax）判别器，并将其与一种新的内在奖励函数和丢弃（dropout）正则化技术结合。该组合方法命名为 APART：使用全配对、升奖与 Dropout 的多样技能发现。我们证明 APART 以显著少于先前工作的样本数在网格世界中发现了所有可能的技能。受 APART 实证成功的启发，我们进一步研究了一种更简单的算法，它通过改变 VIC、重新缩放其内在奖励并调整其 softmax 判别器的温度来实现最大技能数。我们认为我们的发现揭示了强化学习中技能发现算法成功的关键因素。
引用
@article{arxiv.2308.12649,
title = {APART: Diverse Skill Discovery using All Pairs with Ascending Reward and DropouT},
author = {Hadar Schreiber Galler and Tom Zahavy and Guillaume Desjardins and Alon Cohen},
journal= {arXiv preprint arXiv:2308.12649},
year = {2023}
}