基于内稳态-异稳态价值梯度的无聊驱动好奇学习

本文提出内稳态-异稳态价值梯度（Homeo-Heterostatic Value Gradients, HHVG）算法，作为对无聊与好奇心之间建设性相互作用的正式刻画，该相互作用产生了有效的探索与更优的前向模型学习。我们将动作视为有助于智能体自身认知揭示的工具。这促成了两个核心算法要素：贬值与贬值进展，二者共同支撑智能体关于内在生成奖励的认知。这两者可作为内稳态与异稳态内在动机的实例化。我们算法的一个关键洞见是，这两种看似相反的动机可以被调和——若无此调和，探索与信息收集便无法有效进行。我们以实证证据支持该主张，表明在基于自我辅助经验积累的模型构建基准中，启用无聊的智能体持续优于其他好奇或探索型智能体变体。