基于新颖性搜索与发射器的稀疏奖励探索

基于奖励的优化算法既需要探索以发现奖励，也需要利用以最大化性能。在稀疏奖励设定中，性能反馈被吝啬地给出，因而无法有效引导搜索过程，高效探索的需求更为显著。本工作中，我们引入基于新颖性与发射器的稀疏奖励探索(SparsE Reward Exploration via Novelty and Emitters, SERENE)算法，能够高效探索搜索空间并优化可能在离散区域中发现的奖励。与现有基于发射器的方法相反，SERENE将搜索空间探索与奖励利用分离为两个交替过程。第一个过程通过新颖性搜索（一种发散搜索算法）进行探索。第二个过程通过发射器（即基于种群的优化算法的局部实例）利用已发现的奖励区域。元调度器通过交替两个过程分配全局计算预算，确保不相交奖励区域的发现与高效利用。SERENE返回覆盖搜索空间的多样解集合以及每个不同奖励区域的高性能解集合。我们在多种稀疏奖励环境中评估SERENE，表明其优于现有基线。