MinTL：面向任务型对话系统的最小化迁移学习
计算与语言
2020-09-29 v2 人工智能
摘要
在本文中，我们提出最小化迁移学习（MinTL）以简化任务型对话系统的设计流程并缓解对标注数据的过度依赖。MinTL 是一个简单而有效的迁移学习框架，允许我们即插即用地使用预训练 seq2seq 模型，并联合学习对话状态跟踪与对话回复生成。与以往使用拷贝机制将旧对话状态“延续”到新状态的方法不同，我们引入了 Levenshtein 信念跨度（Lev），以极小的生成长度实现高效的对话状态跟踪。我们以 T5 和 BART 两种预训练骨干网络实例化该学习框架，并在 MultiWOZ 上进行了评估。大量实验表明：1）我们的系统在端到端回复生成上确立了新的 SOTA 结果；2）基于 MinTL 的系统在低资源设定下比基线方法更具鲁棒性，仅使用 20% 的训练数据即可取得有竞争力的结果；3）Lev 大幅提升了推理效率。
引用
@article{arxiv.2009.12005,
title = {MinTL: Minimalist Transfer Learning for Task-Oriented Dialogue Systems},
author = {Zhaojiang Lin and Andrea Madotto and Genta Indra Winata and Pascale Fung},
journal= {arXiv preprint arXiv:2009.12005},
year = {2020}
}
备注
EMNLP 2020 camera ready