微调 BERT 用于模式引导的零样本对话状态跟踪
计算与语言
2020-02-04 v1
摘要
我们介绍了在第八届对话系统技术挑战赛（DSTC8）Track 4 上的工作。DSTC8-Track 4 旨在零样本设定下执行对话状态跟踪（DST），其中模型需要在给定目标 API 的模式定义时泛化到未见过的服务 API。作为 Siri、Alexa 和 Google Assistant 等许多虚拟助手的核心，DST 跟踪用户目标及对话历史中发生的内容，主要包括意图预测、槽填充和用户状态跟踪，考验模型的自然语言理解能力。近来，预训练语言模型已在各项 NLP 任务上取得最先进结果，并展现出令人印象深刻的泛化能力，为零样本语言理解提供了可行途径。基于此，我们提出一种通过微调最流行的预训练语言模型之一 BERT 实现的模式引导零样本对话状态跟踪范式（SGP-DST）。SGP-DST 系统分别包含用于意图预测、槽预测、槽转移预测和用户状态摘要的四个模块。根据官方评估结果，我们的 SGP-DST（team12）在 25 支参赛队伍中，于联合目标准确率（排名提交的主评估指标）上排名第 3，在请求槽 F1 上排名第 1。
引用
@article{arxiv.2002.00181,
title = {Fine-Tuning BERT for Schema-Guided Zero-Shot Dialogue State Tracking},
author = {Yu-Ping Ruan and Zhen-Hua Ling and Jia-Chen Gu and Quan Liu},
journal= {arXiv preprint arXiv:2002.00181},
year = {2020}
}
备注
Present on the DSTC8 Workshop @ AAAI-2020