神经网络中学习规则的热力学效率

生物系统必须从感官数据构建模型，以高效处理先前未见的输入。在此，我们研究神经网络利用教师提供的示例学习线性可分规则。我们分析网络将规则应用于新输入的能力，即从过去经验泛化的能力。利用随机热力学，我们证明学习过程的热力学代价为网络在批量与在线学习下能从教师处学习的信息量提供了上界。这使我们引入学习的热力学效率。我们解析计算了噪声神经网络在热力学极限下执行在线学习的动力学与效率。特别地，我们分析三种流行学习算法，即Hebbian、Perceptron与AdaTron学习。我们的工作将随机热力学方法扩展至新型学习问题，并可能为研究决策热力学奠定合适基础。