开放世界探索中基于内在动机的人类与智能体
人工智能
2025-05-29 v2
摘要
什么驱动着探索行为？理解内在动机是认知科学和人工智能领域长期以来的挑战；尽管已提出并使用了诸多目标来训练智能体，但人类与智能体之间的探索仍存在差距。我们在复杂的开放环境Crafter中，直接比较成年人、儿童和AI智能体，研究常见的内在目标（熵、信息增益和授权）与其行为之间的关系。我们发现，只有熵和授权与人类探索进展一致呈正相关，这表明这些目标可能更能指导智能体的内在奖励设计。此外，在智能体和人类之间，我们观察到熵最初快速增加后趋于平稳，而授权持续增长，这表明在早期探索中，状态多样性可能提供更多信号，而高级探索应优先考虑控制。最后，我们发现私人言语输出，特别是目标语言化，可能有助于儿童的探索。我们的数据可在 https://github.com/alyd/humans_in_crafter_data 获取。
引用
@article{arxiv.2503.23631,
title = {Intrinsically-Motivated Humans and Agents in Open-World Exploration},
author = {Aly Lidayan and Yuqing Du and Eliza Kosoy and Maria Rufova and Pieter Abbeel and Alison Gopnik},
journal= {arXiv preprint arXiv:2503.23631},
year = {2025}
}