用 U-Net Transformer 注入层次结构

David Donahue; Vladislav Lialin; Anna Rumshisky

用 U-Net Transformer 注入层次结构

机器学习 2021-04-05 v2 计算与语言机器学习

作者: David Donahue , Vladislav Lialin , Anna Rumshisky

摘要

Transformer架构在过去两年中日益流行，因其在多项自然语言处理（NLP）任务上的出色表现。然而，所有Transformer计算都发生在词表示层面，因此可以说Transformer模型并未显式尝试学习被广泛认为是语言核心的层次结构。在本工作中，我们受计算机视觉中因其对自然图像的层次化视角而流行的U-Net架构启发，将层次化处处理引入Transformer模型。我们经实证表明，所提架构在闲聊对话领域优于原始Transformer及若干强基线。

关键词

Transformer 层次化处处理 U-Net 自然语言处理闲聊对话

引用

@article{arxiv.1910.10488,
  title  = {Injecting Hierarchy with U-Net Transformers},
  author = {David Donahue and Vladislav Lialin and Anna Rumshisky},
  journal= {arXiv preprint arXiv:1910.10488},
  year   = {2021}
}

备注

10 pages

用 U-Net Transformer 注入层次结构

摘要

关键词

引用

备注

相关论文