线性循环网络在长序列括号计数上的理论条件与经验失效
机器学习
2023-04-10 v1 计算与语言
形式语言与自动机理论
神经与进化计算
摘要
已有工作表明，具有无界激活函数的 RNN 具备精确计数的能力。然而，也已有研究显示 RNN 难以被有效训练，且通常学不到精确计数行为。本文通过研究最简可能的 RNN——线性单单元网络，聚焦于该问题。我们对线性 RNN 进行理论分析，并识别出模型展现精确计数行为的条件。我们给出形式化证明，表明这些条件必要且充分。我们还使用涉及 Dyck-1 类平衡括号语言的任务在两种不同设置下进行了实证分析。我们观察到，经标准方法训练的线性 RNN 通常不满足计数行为所需的必要充分条件。我们探究了改变训练序列长度及使用不同目标类别如何影响训练过程中的模型行为，以及线性 RNN 模型有效逼近指示条件的能力。
引用
@article{arxiv.2304.03639,
title = {Theoretical Conditions and Empirical Failure of Bracket Counting on Long Sequences with Linear Recurrent Networks},
author = {Nadine El-Naggar and Pranava Madhyastha and Tillman Weyde},
journal= {arXiv preprint arXiv:2304.03639},
year = {2023}
}
备注
17th Conference of the European Chapter of the Association for Computational Linguistics Student Research Workshop (EACL 2023 SRW)