基于谱方法的从循环神经网络蒸馏加权自动机
机器学习
2020-09-29 v1 形式语言与自动机理论
机器学习
摘要
本文试图弥合深度学习与语法推断之间的鸿沟。具体而言,它提供了一种从任何为语言建模而训练的循环神经网络中提取(随机)形式语言的算法。详细地,该算法将已训练好的网络作为预言机——因此无需访问黑盒的内部表示——并应用谱方法来推断加权自动机。由于加权自动机计算线性函数,它们比神经网络计算更高效,因此该方法的性质属于知识蒸馏。我们详述了在 62 个数据集(包括合成数据与真实应用数据)上的实验,从而对所得算法的能力进行深入研究。结果表明,我们提取的 WA 是 RNN 的良好近似,验证了该方法。此外,我们展示了该过程如何为理解 RNN 在数据上学习的行为提供有趣洞见,从而将本工作的范围拓展至深度学习模型的可解释性。
引用
@article{arxiv.2009.13101,
title = {Distillation of Weighted Automata from Recurrent Neural Networks using a Spectral Approach},
author = {Remi Eyraud and Stephane Ayache},
journal= {arXiv preprint arXiv:2009.13101},
year = {2020}
}