高效的序列到序列对话状态跟踪
计算与语言
2021-09-09 v2 人工智能
机器学习
摘要
序列到序列模型已应用于广泛的 NLP 任务，但如何恰当地将其用于对话状态跟踪尚未被系统研究。本文从预训练目标以及上下文表示格式的角度研究该问题。我们证明预训练目标的选择对状态跟踪质量有显著影响。特别地，我们发现掩码跨度预测比自回归语言建模更有效。我们还探索使用 Pegasus（一种基于跨度预测的面向文本摘要的预训练目标）用于状态跟踪模型。我们发现，为看似相距甚远的摘要任务进行的预训练对对话状态跟踪出奇地有效。此外，我们发现尽管循环状态上下文表示也表现尚可，但模型可能难以从早期错误中恢复。我们在 MultiWOZ 2.1-2.4、WOZ 2.0 和 DSTC2 数据集上进行了实验，观察结果一致。
引用
@article{arxiv.2108.13990,
title = {Effective Sequence-to-Sequence Dialogue State Tracking},
author = {Jeffrey Zhao and Mahdis Mahdieh and Ye Zhang and Yuan Cao and Yonghui Wu},
journal= {arXiv preprint arXiv:2108.13990},
year = {2021}
}
备注
Accepted at EMNLP 2021