多任务学习改进开放域对话系统的实证研究
计算与语言
2023-04-18 v1
摘要
用于开放域对话系统生成响应的自回归模型往往难以考虑长期上下文，且难以在对话中保持一致性。开放域对话生成的先前研究表明，使用辅助任务可引入归纳偏置，鼓励模型改善这些性质。然而，多数先前研究聚焦于仅编码器或编码器/解码器模型，而辅助任务在仅解码器自回归模型中的使用尚待探索。本文描述了一项研究：在PersonaChat与DailyDialog数据集上微调的小型和中型GPT-2模型中加入四种不同辅助任务。结果显示，新辅助任务的引入使所研究模型在评估中取得微小但一致的改进。
引用
@article{arxiv.2304.08115,
title = {An Empirical Study of Multitask Learning to Improve Open Domain Dialogue Systems},
author = {Mehrdad Farahani and Richard Johansson},
journal= {arXiv preprint arXiv:2304.08115},
year = {2023}
}
备注
11 pages, 1 figure, 4 tables, 2 appendices, NoDaLiDa2023