论递归神经级联的表达能力

递归神经级联（RNCs）是递归神经元之间不存在循环依赖的递归神经网络。这类递归网络在实践中受到了广泛关注。除了针对固定架构的训练方法（如反向传播）外，级联架构自然允许构造性学习方法，其中递归节点一次一个地增量添加，通常产生更小的网络。此外，无环性相当于一种结构先验，即使神经元数量相同，与全连接架构相比也能产生更有利的样本复杂度。一个核心问题是级联架构的优势是否以表达能力降低为代价。我们为这个问题提供了新的见解。我们证明，具有符号和tanh激活函数且递归权重为正的RNCs所捕获的正则语言是星自由正则语言。为了建立我们的结果，我们开发了一个新颖的框架，通过分析单个神经元能够实现的半群和群来评估RNCs的能力。我们框架的一个显著含义是，通过引入能够实现群的神经元，RNCs可以达到所有正则语言的表达能力。