基于角色自适应注意力的个性化对话生成
计算与语言
2024-01-11 v4
摘要
基于角色的对话系统旨在根据历史上下文和预定义角色生成一致的响应。与传统的对话生成不同，基于角色的对话需要同时考虑对话上下文和角色，这对连贯训练提出了挑战。具体而言，这需要在上下文和角色之间进行精细的权重平衡。为了实现这一目标，本文提出了一种有效的角色自适应注意力（Persona-Adaptive Attention, PAA）框架，通过我们设计的注意力机制自适应地整合来自角色和上下文信息的权重。此外，对PAA应用了动态掩码机制，不仅丢弃上下文和角色中的冗余信息，还作为一种正则化机制以避免过拟合。实验结果表明，与强基线相比，所提出的PAA框架在自动评估和人工评估中均表现出优越性。此外，与在全数据设置下训练的模型相比，所提出的PAA方法在低资源条件下也能表现同样出色，仅使用20%到30%的数据即可达到与在全数据设置下训练的较大模型相似的结果。为了充分挖掘我们设计的有效性，我们设计了几个以不同方式处理加权信息的变体，展示了我们加权和掩码设计的必要性和充分性。
引用
@article{arxiv.2210.15088,
title = {Personalized Dialogue Generation with Persona-Adaptive Attention},
author = {Qiushi Huang and Yu Zhang and Tom Ko and Xubo Liu and Bo Wu and Wenwu Wang and Lilian Tang},
journal= {arXiv preprint arXiv:2210.15088},
year = {2024}
}
备注
8 pages, 3 figures Accepted by AAAI-2023