联合优化状态操作预测与值生成用于对话状态追踪
计算与语言
2021-04-09 v2 人工智能
摘要
我们研究了具有开放词表的跨领域对话状态追踪(DST)问题。现有方法利用BERT编码器与基于拷贝的RNN解码器，其中编码器预测状态操作，解码器生成新槽值。然而，在此种堆叠的编码器-解码器结构中，操作预测目标仅影响BERT编码器，而值生成目标主要影响RNN解码器。本文提出一种纯Transformer-based框架，其中单个BERT同时作为编码器与解码器。如此，操作预测目标与值生成目标可联合优化该BERT以用于DST。在解码步，我们在对应解码器层的自注意力机制中重用编码器的隐藏状态，从而构建扁平的编码器-解码器架构以实现有效的参数更新。实验结果表明，我们的方法大幅优于现有最先进框架，并且取得了与最佳基于本体方法极具竞争力的性能。
引用
@article{arxiv.2010.14061,
title = {Jointly Optimizing State Operation Prediction and Value Generation for Dialogue State Tracking},
author = {Yan Zeng and Jian-Yun Nie},
journal= {arXiv preprint arXiv:2010.14061},
year = {2021}
}
备注
8 pages, 3 figures