Sm{\aa}prat：基于迁移学习的瑞典语对话自然语言生成的 DialoGPT 模型
计算与语言
2022-02-15 v2 机器学习
摘要
构建产生令人信服回复的开放域对话系统（或聊天机器人）是一项公认的挑战。近期最先进（SoTA）的基于 transformer 的自然语言对话生成模型已在模拟类人、单轮英语对话中展现出令人印象深刻的性能。本工作通过实证研究探讨了此类模型向瑞典语迁移学习的潜力。我们将英语预训练模型 DialoGPT 通过在公开来源获取的三个不同瑞典语对话数据集上训练进行适配。困惑度分数（一种自动内在语言模型指标）与人工评估调查被用于评估微调模型的性能，结果表明迁移学习的能力可被相当成功地利用。在被要求对模拟对话打分的人工评估者中，超过 57% 的聊天机器人回复被判定为类人，对应于在最大（瑞典语）数据集上训练的模型。我们在 HuggingFace 平台上提供我们英语与瑞典语聊天机器人的演示与模型检查点供公众使用。
引用
@article{arxiv.2110.06273,
title = {Sm{\aa}prat: DialoGPT for Natural Language Generation of Swedish Dialogue by Transfer Learning},
author = {Tosin Adewumi and Rickard Brännvall and Nosheen Abid and Maryam Pahlavan and Sana Sabah Sabry and Foteini Liwicki and Marcus Liwicki},
journal= {arXiv preprint arXiv:2110.06273},
year = {2022}
}
备注
Presented at Northern Lights Deep Learning Conference (NLDL) 2022, Tromso, Norway