DSTEA：通过实体自适应预训练改进对话状态跟踪
计算与语言
2023-07-25 v2
摘要
对话状态跟踪 (DST) 对全面理解用户与系统话语至关重要，从而构成高效对话系统的基石。尽管以往研究致力于通过改变模型结构或整合图关系等额外特征来提升 DST 性能，它们常需利用外部对话语料进行额外预训练。本研究中，我们提出 DSTEA，即通过实体自适应预训练改进对话状态跟踪，其可通过密集训练对话话语中的关键实体来增强编码器。DSTEA 利用四种不同方法从输入对话中辨识这些关键实体：本体信息、命名实体识别、spaCy 与 flair 库。随后，它采用选择性知识掩码对模型进行有效训练。值得注意的是，DSTEA 仅需预训练，无需将额外知识直接注入 DST 模型。该方法使四个鲁棒 DST 模型在 MultiWOZ 2.0、2.1 和 2.2 上取得显著提升，联合目标准确率提升高达 2.69%（从 52.41% 至 55.10%）。通过考量不同实体类型及不同实体自适应预训练配置（如掩码策略与掩码率）的对比实验，进一步验证了 DSTEA 的有效性。
引用
@article{arxiv.2207.03858,
title = {DSTEA: Improving Dialogue State Tracking via Entity Adaptive Pre-training},
author = {Yukyung Lee and Takyoung Kim and Hoonsang Yoon and Pilsung Kang and Junseong Bang and Misuk Kim},
journal= {arXiv preprint arXiv:2207.03858},
year = {2023}
}