SoPa：连接 CNN、RNN 与加权有限状态自动机
计算与语言
2018-05-17 v1 人工智能
机器学习
摘要
循环神经网络与卷积神经网络是两类不同的模型家族，已被证明可用于编码自然语言话语。本文提出 SoPa，一种旨在桥接这两种方法的新模型。SoPa 将神经表示学习与加权有限状态自动机（WFSAs）相结合，以学习传统表层模式的软版本。我们证明 SoPa 是单层 CNN 的扩展，且此类 CNN 等价于 SoPa 的一个受限版本，相应地，也等价于 WFSA 的一种受限形式。在三个文本分类任务的实证中，SoPa 与 BiLSTM（RNN）基线和 CNN 基线相当或优于它们，并且在小数据场景下尤为有用。
引用
@article{arxiv.1805.06061,
title = {SoPa: Bridging CNNs, RNNs, and Weighted Finite-State Machines},
author = {Roy Schwartz and Sam Thomson and Noah A. Smith},
journal= {arXiv preprint arXiv:1805.06061},
year = {2018}
}
备注
ACL 2018, 12 pages. Code available at https://github.com/Noahs-ARK/soft_patterns