神经形态做梦：人工智能体高效学习的途径

实现学习中的能效是人工智能（AI）计算平台的关键挑战。生物系统展示了快速高效学习复杂技能的卓越能力。受此启发，我们提出了一种在混合信号模拟/数字神经形态硬件上使用脉冲神经网络（SNN）的基于模型的强化学习（MBRL）硬件实现。该方法通过交替进行在线学习（称为“清醒”阶段）和离线学习（称为“做梦”阶段），利用混合信号神经形态芯片的能效，同时实现高样本效率。提出的模型包括两个共生网络：一个通过结合真实和模拟经验进行学习的智能体网络，以及一个生成模拟经验的学习世界模型网络。我们通过训练硬件实现来玩Atari游戏Pong来验证模型。我们从没有世界模型和做梦的智能体网络基线开始，该基线成功学会了玩游戏。通过加入做梦，所需的真实游戏经验数量相比基线显著减少。这些网络使用混合信号神经形态处理器实现，读出层使用计算机在环训练，而其他层保持固定。这些结果为能够在现实世界应用和用例中快速学习的能效神经形态学习系统铺平了道路。