匈牙利层:逻辑赋能的神经架构
计算与语言
2018-05-18 v3
摘要
神经架构是一种纯数值框架,将数据拟合为连续函数。然而,由于缺乏逻辑流(例如\textit{if、for、while}),传统算法(例如\textit{匈牙利算法、A搜索、决策树算法})无法嵌入该范式,这限制了理论与应用。本文中,我们将计算图重构为一个由逻辑流引导的动态过程。在我们的新方法中,传统算法可以赋能数值神经网络。具体地,针对句子匹配任务,我们将此问题重新表述为任务分配的形式,并由匈牙利算法求解。首先,我们的模型应用BiLSTM解析句子;随后匈牙利层对齐匹配位置;最后,我们通过另一个BiLSTM将匹配结果转换用于softmax回归。大量实验表明,我们的模型大幅优于其他最先进的基线。
引用
@article{arxiv.1712.02555,
title = {Hungarian Layer: Logics Empowered Neural Architecture},
author = {Han Xiao and Yidong Chen and Xiaodong Shi},
journal= {arXiv preprint arXiv:1712.02555},
year = {2018}
}
备注
This is the draft submitting to ICML 2018. You could expect the final version, which is more perfect