二阶循环神经网络的计算复杂度与形式化层次结构
机器学习
2023-09-27 v1 计算复杂性
摘要
具有循环与自注意力的ANN已被证明是图灵完备（TC）的。然而，现有工作表明，即便权重具有无限精度，这些ANN仍需多轮或无界计算时间才能识别TC文法。但在固定或有界精度神经元与时间等约束下，无记忆的ANN甚至难以识别上下文无关语言。本工作中，我们扩展了二阶循环网络（2nd RNN）的理论基础，并证明存在一类有界时间内图灵完备的2nd RNN。该模型能够将转移表直接编码进其循环权重中，实现有界时间计算，且设计上可解释。我们还证明，在无记忆、有界权重与时间约束下，二阶RNN在识别正则文法上优于 vanilla RNN 与门控循环单元等现代模型。我们给出了二阶RNN识别任意正则文法类所需神经元最大数量的上界与稳定性分析。在 Tomita 文法上的大量实验支持了我们的发现，展示了张量连接在构建计算高效RNN中的重要性。最后，我们表明二阶RNN也可通过提取实现可解释，并且相比一阶RNN能以更高成功率提取状态机。我们的结果扩展了RNN的理论基础，并为未来可解释AI研究提供了有前景的途径。
引用
@article{arxiv.2309.14691,
title = {On the Computational Complexity and Formal Hierarchy of Second Order Recurrent Neural Networks},
author = {Ankur Mali and Alexander Ororbia and Daniel Kifer and Lee Giles},
journal= {arXiv preprint arXiv:2309.14691},
year = {2023}
}
备注
12 pages, 5 tables, 1 figure