Span-ConveRT：基于预训练对话表示的少样本对话跨度抽取
计算与语言
2020-07-17 v2
摘要
我们提出 Span-ConveRT，一种用于对话槽填充的轻量模型，该模型将任务构建为基于轮次的跨度抽取任务。这种形式使得可以简单整合编码于大型预训练对话模型（如 ConveRT (Henderson et al., 2019)）中的对话知识。我们表明，在 Span-ConveRT 中利用此类知识对少样本学习场景尤为有用：我们报告了相对于 1) 在目标领域从零训练表示的跨度抽取器，以及 2) 基于 BERT 的跨度抽取器的一致增益。为了激励更多关于槽填充任务的跨度抽取工作，我们还发布了 RESTAURANTS-8K，一个由餐厅预订领域真实对话编译而成的包含 8,198 条话语的新的具有挑战性的数据集。
引用
@article{arxiv.2005.08866,
title = {Span-ConveRT: Few-shot Span Extraction for Dialog with Pretrained Conversational Representations},
author = {Sam Coope and Tyler Farghly and Daniela Gerz and Ivan Vulić and Matthew Henderson},
journal= {arXiv preprint arXiv:2005.08866},
year = {2020}
}
备注
ACL 2020 (updated version with errata)