多任务序列到序列学习
机器学习
2016-03-02 v4 计算与语言
机器学习
摘要
序列到序列学习近期作为监督学习中的新范式出现。迄今为止，其大多数应用仅集中于单一任务，鲜有工作探索该框架在多任务上的应用。本文研究了序列到序列模型的三种多任务学习（MTL）设置：(a) 一对多设置——其中编码器在机器翻译和句法分析等多个任务之间共享；(b) 多对一设置——在仅能共享解码器时有用，例如翻译和图像标题生成；(c) 多对多设置——其中共享多个编码器和解码器，如无监督目标与翻译的情况。我们的结果表明，在 WMT 基准上，基于少量句法分析和图像标题数据的训练可将英德翻译质量比强单任务基线提高多达 1.5 个 BLEU 点。此外，我们在成分句法分析上以 93.0 的 F1 值建立了新的 SOTA 结果。最后，我们揭示了在 MTL 背景下自编码器与 skip-thought 这两种无监督学习目标的有趣特性：与 skip-thought 相比，自编码器在困惑度方面帮助较小，但在 BLEU 分数上帮助更大。
引用
@article{arxiv.1511.06114,
title = {Multi-task Sequence to Sequence Learning},
author = {Minh-Thang Luong and Quoc V. Le and Ilya Sutskever and Oriol Vinyals and Lukasz Kaiser},
journal= {arXiv preprint arXiv:1511.06114},
year = {2016}
}
备注
10 pages, 4 figures, ICLR 2016 camera-ready, added parsing SOTA results