从自然语言循环神经网络中提取加权有限自动机
计算与语言
2022-09-28 v2 机器学习
摘要
循环神经网络（RNNs）在序列数据处理中取得了巨大成功。然而，直接解释和验证 RNN 的行为颇具挑战。为此，许多工作致力于从 RNN 中提取有限自动机。现有方法如精确学习能有效提取有限状态模型以刻画形式语言下 RNN 的状态动态，但在处理自然语言的可扩展性上受限。可扩展到自然语言的组合方法在提取精度上不足。在本文中，我们指出了严重影响的提取精度的转移稀疏性问题。为解决该问题，我们提出了一种转移规则提取方法，该方法可扩展到自然语言处理模型并有效提升提取精度。具体而言，我们提出一种经验方法来补充转移图中缺失的规则。此外，我们进一步调整转移矩阵以增强所提取加权有限自动机（WFA）的上下文感知能力。最后，我们提出两种数据增强策略以追踪目标 RNN 更多的动态行为。在两个流行的自然语言数据集上的实验表明，我们的方法能从用于自然语言处理的 RNN 中提取 WFA，且精度优于现有方法。我们的代码可在 https://github.com/weizeming/Extract_WFA_from_RNN_for_NL 获取。
引用
@article{arxiv.2206.14621,
title = {Extracting Weighted Finite Automata from Recurrent Neural Networks for Natural Languages},
author = {Zeming Wei and Xiyue Zhang and Meng Sun},
journal= {arXiv preprint arXiv:2206.14621},
year = {2022}
}
备注
Accepted by ICFEM 2022