循环控制的循环网络
计算与语言
2018-11-27 v1 人工智能
信息检索
神经与进化计算
摘要
长短期记忆和门控循环单元等循环神经网络（RNN）是广泛序列建模问题中的关键构建模块。本文提出一种循环控制的循环网络（RCRN），用于实现表达力强且强大的序列编码。更具体地，我们方法背后的核心思想是使用循环网络来学习循环门控函数。我们的架构分为两个组件——一个控制器单元和一个监听器单元，其中循环控制器主动影响监听器单元的组合性。我们在自然语言处理（NLP）领域的众多任务上进行了大量实验，例如情感分析（SST、IMDb、Amazon评论等）、问题分类（TREC）、蕴含分类（SNLI、SciTail）、答案选择（WikiQA、TrecQA）和阅读理解（NarrativeQA）。在所有26个数据集上，我们的结果表明RCRN不仅持续优于BiLSTM，还优于堆叠的BiLSTM，这表明我们的控制器架构可能适合替代广泛采用的堆叠架构。
引用
@article{arxiv.1811.09786,
title = {Recurrently Controlled Recurrent Networks},
author = {Yi Tay and Luu Anh Tuan and Siu Cheung Hui},
journal= {arXiv preprint arXiv:1811.09786},
year = {2018}
}
备注
NIPS 2018