如何利用偶然不确定性估计在避免噪声电视的同时保持好奇心

在稀疏奖励环境中，人工智能体的探索是困难的。好奇心驱动学习——使用前向预测误差作为内在奖励——在这些场景中取得了一些成功，但在面对动作依赖的噪声源时会失效。我们提出偶然映射智能体（AMAs），一种受神经科学启发、以哺乳动物大脑胆碱能系统为模型的解决方案。AMAs 旨在明确判定环境的哪些动力学是不可预测的，无论这些动力学是否由智能体的动作引起。这是通过对未来状态的均值与方差生成独立的前向预测，并降低那些具有高偶然方差的转移的内在奖励来实现的。我们表明 AMAs 能够有效规避使常规好奇心驱动智能体陷入瘫痪的动作依赖随机陷阱。本文所有实验的代码已开源：http://github.com/self-supervisor/Escaping-Stochastic-Traps-With-Aleatoric-Mapping-Agents。