用于逆动力学模型学习的对抗式主动探索

我们提出一种用于逆动力学模型学习的对抗式主动探索，一种简单而有效的学习方案，可在无任何人工干预的情况下激励在环境中进行探索。我们的框架由一个深度强化学习（DRL）智能体和一个相互竞争的逆向动力学模型组成。前者为后者收集训练样本，目标是最大化后者的误差。后者用前者收集的样本训练，并在无法预测前者实际采取的行动时为其生成奖励。在这种竞争设定中，DRL智能体学习生成逆动力学模型无法正确预测的样本，而逆动力学模型学习适应这些具有挑战性的样本。我们进一步提出一种奖励结构，确保DRL智能体仅收集适度困难的样本，而非阻碍逆模型有效预测的超难样本。我们在多个机械臂和灵巧手操作任务上针对多种基线模型评估了我们的方法有效性。实验结果表明，我们的方法与直接用专家示范训练的方法相当，且即使没有任何人类先验也优于其他基线。