GIRNet：交错多任务循环状态序列模型
机器学习
2018-12-27 v2 计算与语言
机器学习
摘要
在若干自然语言任务中，带标签的序列在独立领域（例如语言）中可用，但目标是对具有混合领域的序列（如语码转换文本）加标签。或者，我们可能有用于标注整段文本（如情感）的模型，希望借以改进位置特定的标签推断（如目标依赖情感标注）。此类任务共享的关键特征是：主要实例中的不同位置可受益于从辅助数据训练出的不同“专家”，但带标签的主要实例稀缺，且为每个位置标注最佳专家会带来不可接受的认知负担。我们提出 GITNet，一种用于此类应用的统一位置敏感多任务循环神经网络（RNN）架构。辅助任务与主要任务无需共享训练实例。辅助 RNN 在辅助实例上训练。主要实例也被提交给每个辅助 RNN，但它们的状态序列被门控并合并为专为该主要推断任务定制的新型组合状态序列。我们的方法与近期的多任务网络（如 cross-stitch 和 sluice network）形成鲜明对比，后者未在如此细粒度上控制状态转移。我们利用三个应用展示了 GIRNet 的优越性：语码转换段落的情感分类、语码转换文本的词性标注，以及单语段落中情感的目标位置敏感标注。在所有情况下，我们都确立了超越近期竞争性基线的新 SOTA 性能。
引用
@article{arxiv.1811.11456,
title = {GIRNet: Interleaved Multi-Task Recurrent State Sequence Models},
author = {Divam Gupta and Tanmoy Chakraborty and Soumen Chakrabarti},
journal= {arXiv preprint arXiv:1811.11456},
year = {2018}
}
备注
Accepted at AAAI 2019