一种用于资源受限系统的简单而有效的对话状态跟踪 BERT 模型
计算与语言
2020-02-11 v3 机器学习
摘要
在任务型对话系统中，对话状态跟踪（DST）的目标是从对话历史中监控对话状态。最近，许多基于深度学习的方法被提出用于该任务。尽管这些方法性能令人印象深刻，但当前的 DST 神经架构通常经过高度工程设计且概念复杂，使得在生产环境中实施、调试和维护变得困难。在这项工作中，我们提出了一种基于 BERT 的简单而有效的 DST 模型。除了简单性之外，我们的方法还具有许多其他优势：(a) 参数数量不随本体大小增长；(b) 模型可在领域本体动态变化的情况下运行。实验结果表明，我们基于 BERT 的模型大幅优于以往方法，在标准的 WoZ 2.0 数据集上取得了新的最先进（SOTA）结果。最后，为了使模型足够小巧快速以适应资源受限的系统，我们应用知识蒸馏方法来压缩模型。最终的压缩模型在保持与原模型相当结果的同时，体积缩小了 8 倍，速度提高了 7 倍。
引用
@article{arxiv.1910.12995,
title = {A Simple but Effective BERT Model for Dialog State Tracking on Resource-Limited Systems},
author = {Tuan Manh Lai and Quan Hung Tran and Trung Bui and Daisuke Kihara},
journal= {arXiv preprint arXiv:1910.12995},
year = {2020}
}
备注
Accepted to ICASSP 2020