实时计数器自动机的语言处理能力
计算与语言
2021-09-10 v2 形式语言与自动机理论
摘要
计数器机在自然语言处理（NLP）领域获得了新的相关性：近期研究表明，一些性能强劲的循环神经网络将其记忆用作计数器。因此，理解这些网络成功之处的一个潜在途径是重新审视计数器计算的理论。为此，我们研究实时计数器机作为形式文法的能力，重点关注与 NLP 模型相关的形式性质。我们首先证明计数器的若干变体收敛于表达同一类形式语言。我们还证明计数器语言在补、并、交以及许多其他常见集合运算下封闭。接下来，我们证明计数器机无法求值布尔表达式，尽管它们能够弱验证其语法。这对神经网络系统的可解释性与评估具有启示：成功匹配句法模式并不保证计数器记忆准确地编码了组合语义。最后，我们考虑计数器语言是否为半线性的。本工作对形式语言理论作出了一般性贡献，对理解循环神经网络具有潜在意义。
引用
@article{arxiv.2004.06866,
title = {On the Linguistic Capacity of Real-Time Counter Automata},
author = {William Merrill},
journal= {arXiv preprint arXiv:2004.06866},
year = {2021}
}
备注
Updated to fix a minor typo in the semilinearity proof