面向开放域对话生成跨语言迁移中缓解灾难性遗忘的提示学习
计算与语言
2023-05-31 v2
摘要
非英语语言的对话系统长期以来研究不足。在本文中，我们迈出了第一步，针对数据有限的非英语语言，在开放域对话生成背景下研究少样本跨语言迁移学习（FS-XLT）与多任务学习（MTL）。我们在初步实验中发现，所有6种语言在FS-XLT和MTL中均出现了灾难性遗忘。为缓解该问题，我们提出了一种简单而有效的提示学习方法，通过固定提示LM调优（Fixed-prompt LM Tuning）与我们手工设计的提示来弥合预训练与微调之间的差距，从而在FS-XLT和MTL中保留多语言预训练语言模型（mPLM）的多语言性。在全部6种语言上，自动与人工评估的实验结果均证明了我们方法的有效性。我们的代码已发布于 https://github.com/JeremyLeiLiu/XLinguDial。
引用
@article{arxiv.2305.07393,
title = {Prompt Learning to Mitigate Catastrophic Forgetting in Cross-lingual Transfer for Open-domain Dialogue Generation},
author = {Lei Liu and Jimmy Xiangji Huang},
journal= {arXiv preprint arXiv:2305.07393},
year = {2023}
}
备注
Accepted for presentation at SIGIR 2023