循环神经网络解空间的刻画与导航

循环神经网络（RNNs）近来被成功用于建模神经活动驱动动物任务相关行为的方式，其隐含假设是所获得的解是普适的。神经科学与机器学习中的观察均对这一假设提出挑战。动物可以用多种策略接近给定任务，而训练机器学习算法会引入欠定现象。这些观察意味着每个任务都关联着一个解空间。迄今为止，该空间的结构尚不被理解，限制了将 RNNs 与神经数据进行比较的方法。在此，我们刻画了与各种任务相关的解空间。我们首先在一个导致多个解的简单双神经元网络上研究。我们将最终解的性质追溯至网络的初始连接性，并识别出支撑这种多样性的离散动力学态。接着我们考察三个受神经科学启发的任务：延迟判别、间隔判别与时间再现。对于每个任务，我们都发现丰富的解集合。变异性可直接在网络神经活动中发现，还可通过测试训练网络的泛化外推能力来发现，因为对系统的扰动常能揭示隐藏结构。此外，我们将外推模式与网络所发现的特定动力学对象及有效算法相联系。我们引入一种工具，通过生成紧凑有向图来描述关于行为输入与输出的动力学本质，从而推导网络的约化动力学。利用这种表示，我们能将每个任务的解划分为少数几类，并部分地从神经特征预测它们。我们的结果阐明了解空间的概念及其在机器学习与神经科学中的用途。