利用混沌神经网络实现“思考”涌现的新强化学习——“探索”通过学习成长为“思考”

期望利用循环神经网络端到端强化学习框架实现高级功能涌现的期望越来越大。然而，作为典型高级功能的“思考”(“Thinking”)的涌现难以实现，因为“思考”需要具有收敛和转移动力学的非定点、流型吸引子。此外，为了在“思考”中引入“灵感”或“发现”，不仅需要完全随机而且需要非预期的转移。通过类比“混沌漫游”(“chaotic itinerancy”)，我们假设“探索”(“Exploration”)通过在混沌类随机动力学上形成流型吸引子而通过学习成长为“思考”。期望如果在混沌神经网络(ChNN)中学习到理性动力学，则可以实现理性状态转移、类灵感状态转移以及对未知情况的类随机探索的共存。基于上述思想，我们提出了使用ChNN作为执行器的新强化学习。探索的定位与传统完全不同。ChNN内部的混沌动力学自身产生探索因子。由于不使用用于随机动作选择的外部随机数，探索因子不能从输出中分离。因此学习方法也完全不同。在每个非反馈连接处，一个名为因果迹(causality trace)的变量根据该连接输出的变化接收并保持通过连接的输入。利用该迹和TD error更新权重。本文作为近期简单任务（验证新学习是否工作）的结果，展示了具有两个轮子和两个视觉传感器的机器人在学习后到达目标同时避开障碍物，尽管仍有许多改进空间。