面向任务型对话系统的层次化 Transformer
计算与语言
2021-05-11 v3
摘要
由于近期基于 RNN 和 Transformer 的模型在问答和摘要等任务中取得成功，对话系统的生成式模型受到了广泛关注。尽管对话响应生成任务通常被视为序列到序列（Seq2Seq）问题，但过去的研究者发现使用标准 Seq2Seq 模型训练对话系统具有挑战性。因此，为了帮助模型学习有意义的语句级和对话级特征，Sordoni 等人（2015b）、Serban 等人（2016）提出了层次化 RNN 架构，后来被其他多个基于 RNN 的对话系统所采用。随着基于 transformer 的模型近来在 seq2seq 问题中占据主导，一个自然的问题是层次化概念在基于 transformer 的对话系统中的适用性。本文提出了一种层次化 Transformer 编码器的通用框架，并展示了如何通过专门设计的注意力掩码和位置编码，将标准 transformer 变形为任意层次化编码器，包括类 HRED 和类 HIBERT 的模型。我们通过大量实验证明，在面向任务型对话系统的基于 transformer 的模型中，层次化编码有助于实现对上下文更好的自然语言理解。
引用
@article{arxiv.2011.08067,
title = {Hierarchical Transformer for Task Oriented Dialog Systems},
author = {Bishal Santra and Potnuru Anusha and Pawan Goyal},
journal= {arXiv preprint arXiv:2011.08067},
year = {2021}
}
备注
v3: Latest camera ready version; 10 pages; Codes: https://github.com/bsantraigi/HIER , https://github.com/bsantraigi/hier-transformer-pytorch v2: To appear in NAACL 2021 (Long Paper) v1: preprint