AuGPT：面向端到端对话的辅助任务与数据增强及预训练语言模型
计算与语言
2022-01-17 v3 人工智能
机器学习
摘要
基于注意力的预训练语言模型（如 GPT-2）为端到端对话建模带来了显著进展。然而，它们也给任务型对话带来了相当大的风险，例如缺乏知识接地和多样性。为解决这些问题，我们引入了用于语言模型微调的改进训练目标，并采用通过回译的大规模数据增强来增加训练数据的多样性。我们进一步考察了结合多源数据以提升目标数据集性能的可能性。我们通过人工和自动方法仔细评估了我们的贡献。我们的模型在 MultiWOZ 数据上大幅优于基线，并在自动和人工评估中均展现出与最先进(state-of-the-art, SOTA)水平相竞争的性能。
引用
@article{arxiv.2102.05126,
title = {AuGPT: Auxiliary Tasks and Data Augmentation for End-To-End Dialogue with Pre-Trained Language Models},
author = {Jonáš Kulhánek and Vojtěch Hudeček and Tomáš Nekvinda and Ondřej Dušek},
journal= {arXiv preprint arXiv:2102.05126},
year = {2022}
}