GenSF：生成式预训练模型与槽填充的同步适配
计算与语言
2021-06-15 v1 人工智能
机器学习
摘要
在迁移学习中，实现预训练模型与下游任务之间的强对齐至关重要。先前工作通过提出任务特定的预训练目标来实现这一点，牺牲了迁移学习范式固有的可扩展性。我们转而通过同时修改预训练模型与下游任务的表述来实现强对齐，这更高效且保留了迁移学习的可扩展性。我们提出 GenSF（生成式槽填充，Generative Slot Filling），其利用生成式预训练开放域对话模型进行槽填充。GenSF（1）通过融入关于任务的归纳偏置来适配预训练模型，且（2）通过重构槽填充以更好地利用预训练模型的能力来适配下游任务。GenSF 在两个槽填充数据集上取得了最先进的结果，并在少样本与零样本设定下获得显著提升。我们在零样本槽填充上实现了 9 个 F1 分数的提升。这凸显了预训练模型与下游任务之间强对齐的价值。
引用
@article{arxiv.2106.07055,
title = {GenSF: Simultaneous Adaptation of Generative Pre-trained Models and Slot Filling},
author = {Shikib Mehri and Maxine Eskenazi},
journal= {arXiv preprint arXiv:2106.07055},
year = {2021}
}
备注
Accepted at SIGDial 2021