通用卷积与循环网络用于序列建模的实证评估
机器学习
2018-04-20 v2 人工智能
计算与语言
摘要
对大多数深度学习从业者而言，序列建模即等同于循环网络。然而近期结果表明，在音频合成与机器翻译等任务上卷积架构可以胜过循环网络。面对新的序列建模任务或数据集，应使用哪种架构？我们对通用卷积与循环架构进行了系统的序列建模评估。这些模型在常用于基准测试循环网络的一 broad 范围标准任务上接受评估。我们的结果表明，简单的卷积架构在多样任务与数据集上均优于诸如 LSTM 等典型循环网络，同时展现出更长的有效记忆。我们得出结论：序列建模与循环网络之间的普遍关联应被重新考量，卷积网络应被视为序列建模任务的天然起点。为辅助相关研究，我们已将代码发布于 http://github.com/locuslab/TCN 。
引用
@article{arxiv.1803.01271,
title = {An Empirical Evaluation of Generic Convolutional and Recurrent Networks for Sequence Modeling},
author = {Shaojie Bai and J. Zico Kolter and Vladlen Koltun},
journal= {arXiv preprint arXiv:1803.01271},
year = {2018}
}