关于带恒等元的递归神经级联的表达能力

Nadezda Alexandrovna Knorozova; Alessandro Ronca

关于带恒等元的递归神经级联的表达能力

机器学习 2024-09-10 v2 人工智能形式语言与自动机理论计算机科学中的逻辑神经与进化计算

作者: Nadezda Alexandrovna Knorozova , Alessandro Ronca

摘要

递归神经级联(RNC)是一类递归神经元之间没有循环依赖的递归神经网络。其子类RNC+（具有正递归权重）已被证明与无星正则语言密切相关，而后者是许多成熟时序逻辑的表达能力。现有的表达能力结果表明，RNC+捕获的正则语言是无星语言，并且它们留下了RNC+可能捕获超出正则语言的可能性。我们排除了这种可能性，针对包含恒等元的语言，即一个可以任意多次出现而不影响输出的输入。具体来说，在存在恒等元的情况下，我们证明RNC+捕获的语言恰好是无星正则语言。恒等元在时序模式中普遍存在，因此我们的结果适用于大量应用。我们的结果的意义超越了表达能力。在其核心，我们建立了RNC+与半自动机级联之间的紧密结构对应关系，表明每个神经元都可以等价地由三状态半自动机捕获。这个结果的一个显著推论是，RNC+并不比三状态半自动机级联更简洁。

关键词

递归神经级联表达能力无星正则语言恒等元半自动机时序逻辑正则语言

引用

@article{arxiv.2405.11657,
  title  = {On the Expressivity of Recurrent Neural Cascades with Identity},
  author = {Nadezda Alexandrovna Knorozova and Alessandro Ronca},
  journal= {arXiv preprint arXiv:2405.11657},
  year   = {2024}
}

备注

Full version with appendix of a paper with the same title that will appear in the proceedings of KR 2024

关于带恒等元的递归神经级联的表达能力

摘要

关键词

引用

备注

相关论文