CIC：用于无监督技能发现的对立内在控制
机器学习
2022-03-31 v3 人工智能
摘要
我们提出对立内在控制（CIC），一种无监督技能发现算法，可最大化状态转移与潜在技能向量之间的互信息。CIC 利用状态转移与技能之间的对比学习来学习行为嵌入，并将这些嵌入的熵作为内在奖励最大化以鼓励行为多样性。我们在无监督强化学习基准上评估了我们的算法，该基准包含较长的无奖励预训练阶段，随后是针对具有外在奖励的下游任务的短暂适应阶段。CIC 在适应效率上大幅优于先前方法，超越先前无监督技能发现方法 1.79 倍，超越次优的整体探索算法 1.18 倍。
引用
@article{arxiv.2202.00161,
title = {CIC: Contrastive Intrinsic Control for Unsupervised Skill Discovery},
author = {Michael Laskin and Hao Liu and Xue Bin Peng and Denis Yarats and Aravind Rajeswaran and Pieter Abbeel},
journal= {arXiv preprint arXiv:2202.00161},
year = {2022}
}
备注
Project website: https://sites.google.com/view/cicrl/