基于语法可解释表示的问答
计算与语言
2017-09-27 v2
摘要
我们提出了一种架构，即张量积循环网络（TPRN）。在我们的 TPRN 应用中，在执行文本问答（QA）任务的深度神经网络中通过端到端优化学习到的内部表示，可以利用语言学理论中的基本概念进行解释。这种可解释性的提升无需以牺牲性能为代价：所提出的模型在 SQuAD QA 任务上的表现与 SOTA 系统相当。被解释的内部表示是张量积表示：对于每个输入词，模型选择一个符号来编码该词，并选择一个角色来放置该符号，然后将两者绑定在一起。该选择通过软注意力实现。整体解释由符号的解释（由训练好的模型所调用）和模型所使用的角色的解释构建而成。我们找到了对初始假设的支持，即符号可以被解释为词汇语义，而角色可以被解释为语法角色（或类别）的近似，例如主语、wh-词、限定词等。细粒度分析揭示了学习到的角色与标准标注器（Toutanova et al. 2003）分配的词性之间的具体对应关系，并发现了若干有利于该模型的差异。在这个意义上，模型在仅接触语言学上未标注的文本、问题和答案后，学习到了语法的诸多重要方面：没有先验语言学知识被输入给模型。被给予的是使用符号和角色构建表示的手段，并带有偏好以近似离散的方式使用它们的归纳偏置。
引用
@article{arxiv.1705.08432,
title = {Question-Answering with Grammatically-Interpretable Representations},
author = {Hamid Palangi and Paul Smolensky and Xiaodong He and Li Deng},
journal= {arXiv preprint arXiv:1705.08432},
year = {2017}
}