基于状态空间回归从循环神经网络提取加权自动机
机器学习
2019-11-21 v3 机器学习
摘要
我们提出一种从循环神经网络（RNN）中提取加权有限自动机（WFA）的方法。我们的算法基于 Balle 与 Mohri 的 WFA 学习算法，而后者又是 Angluin 经典 \lstar 算法的扩展。我们的技术新颖性在于对所谓等价查询使用\emph{回归}方法，从而利用 RNN 的内部状态空间来优先排序反例候选。以此方式，我们实现了近期 Weiss、Goldberg 与 Yahav 提取 DFA 工作的定量/加权扩展。我们通过实验评估了所提取 WFA 的准确率、表达力与效率。
引用
@article{arxiv.1904.02931,
title = {Weighted Automata Extraction from Recurrent Neural Networks via Regression on State Spaces},
author = {Takamasa Okudono and Masaki Waga and Taro Sekiyama and Ichiro Hasuo},
journal= {arXiv preprint arXiv:1904.02931},
year = {2019}
}
备注
AAAI 2020. We are preparing to distribute the implementation