具有全域、组与任务特征学习的多任务网络
计算与语言
2019-07-04 v1 人工智能
机器学习
摘要
我们提出利用相关任务的自然分组进行多任务学习的方法。任务组可依据任务的已知属性（如任务领域或语言）来定义。此类任务组代表了任务间层面的监督信息，并可被编码进模型。我们研究了实现此目标的两种神经网络架构变体，其在单个任务、任务组以及所有任务的全域层面学习不同特征空间：（1）并行架构将每个输入同时编码至不同层面的特征空间；（2）串行架构将每个输入依次编码至任务层次结构中不同层面的特征空间。我们在自然语言理解（NLU）任务上验证了这些方法，其中将任务按不同任务领域分组在 ATIS、Snips 以及一个大型内部数据集上带来了性能提升。
引用
@article{arxiv.1907.01791,
title = {Multi-Task Networks With Universe, Group, and Task Feature Learning},
author = {Shiva Pentyala and Mengwen Liu and Markus Dreyer},
journal= {arXiv preprint arXiv:1907.01791},
year = {2019}
}