面向低资源个性化对话生成的堆栈传播框架
计算与语言
2024-10-29 v1 人工智能
摘要
随着构建开放域对话系统的浓厚兴趣,过去几年对话生成任务受到了日益关注。该任务通常被形式化为条件生成问题,旨在给定对话上下文和特定约束(如人格)生成自然且有意义的响应。维持一致的人格对于对话系统获取用户信任至关重要。尽管取得了显著进展,传统的人格基对话模型通常通过利用大量人格密集对话示例进行训练。然而,这些人格密集的训练数据获取成本高昂,导致规模受限。本工作提出了一种新方法,通过将一致性理解视为响应生成的正则化来从有限的训练示例中学习。为此,我们提出了一种堆栈传播框架,用于学习生成和理解管道。具体而言,该框架堆叠了一个Transformer 编码器和两个Transformer 解码器,其中第一个解码器建模响应生成,第二个作为正则器共同建模响应生成和一致性理解。该提出的框架能够从堆叠的编码器和解码器中受益,可从大量较小的个性化对话数据中学习,同时保持竞争力的性能。在不同的低资源设置下,主观和客观评估证明,堆栈传播框架在响应质量和人格一致性方面均优于强大的基线,大大克服了传统模型依赖大量人格密集对话数据的局限性。
关键词
引用
@article{arxiv.2410.20174,
title = {A Stack-Propagation Framework for Low-Resource Personalized Dialogue Generation},
author = {Haoyu Song and Wei-Nan Zhang and Kaiyan Zhang and Ting Liu},
journal= {arXiv preprint arXiv:2410.20174},
year = {2024}
}
备注
published as a journal paper at ACM Transactions on Information Systems 2023. 35 pages, 5 figures