从好奇心到熟练：世界模型如何与探索动力学相互作用
人工智能
2025-07-14 v1
摘要
有哪些驱动智能体在探索世界的同时又能维持对环境的控制？从玩耍的儿童到实验室的科学家，智能体必须在好奇心（寻求知识的驱动力）与熟练（掌握并控制环境的驱动力）之间取得平衡。将认知理论中的内在动机与强化学习相结合，我们探讨的是如何通过不断演化的内部表征来调节好奇心（新奇性或信息增益）与熟练（赋能）之间的权衡。我们比较了两种基于模型的智能体，一种使用手工设计的状态抽象（Tabular），另一种学习内部世界模型（Dreamer）。Tabular智能体显示出好奇心与熟练引导探索呈离散模式，而两者并重可提升探索效果。Dreamer智能体揭示了探索与表征学习之间的双向相互作用，映射出好奇心与熟练发展演化的认知发展模式。我们的发现将自适应探索形式化为在追求未知与可控之间的平衡，为认知理论和高效强化学习提供了洞见。
引用
@article{arxiv.2507.08210,
title = {From Curiosity to Competence: How World Models Interact with the Dynamics of Exploration},
author = {Fryderyk Mantiuk and Hanqi Zhou and Charley M. Wu},
journal= {arXiv preprint arXiv:2507.08210},
year = {2025}
}