ConVEx：数据高效且少样本的槽位标注

我们提出 ConVEx（Conversational Value Extractor），一种用于槽位标注对话任务的高效预训练与微调神经方法。与先前工作更通用的预训练目标（例如语言建模、响应选择）不同，ConVEx 的预训练目标是一种使用 Reddit 数据的新型成对完形填空任务，与其在序列标注任务上的预期用途高度一致。这使得通过仅微调预训练通用序列标注模型的解码层即可学习特定领域的槽位标注器，而预训练模型的大部分参数保持冻结。我们报告了 ConVEx 在一系列不同领域和数据集的对话槽位标注上达到最先进性能，在最具挑战性的少样本设置中增益最大。我们相信，ConVEx 缩短的预训练时间（即仅在 12 个 GPU 上 18 小时）与成本，连同其高效的微调和强劲性能，有望对一般数据高效的序列标注任务带来更广泛的适用性与可扩展性。