基于人类好奇心网络理论的图结构数据内在动机探索

内在动机探索已被证明对强化学习有用，即便没有额外的外在奖励。当环境自然表示为图时，如何最好地引导探索仍是一个开放问题。本工作中，我们提出了一种受两种人类好奇心理论——信息缺口理论与压缩进展理论——启发的图结构数据探索新方法。这些理论将好奇心视为优化环境中已访问节点所诱导子图的拓扑特征的内在动机。我们使用这些提出的特征作为基于图神经网络的强化学习的奖励。在多个类别的合成生成图上，我们发现训练后的智能体能够泛化到比训练时更长的探索路径和更大的环境。我们的方法比相关拓扑属性的贪婪评估计算更高效。所提出的内在动机与推荐系统尤其相关。我们证明，在多个真实世界图环境中，考虑好奇心的下一节点推荐比PageRank中心性更能预测人类选择。