平衡多领域语料学习以用于开放域回复生成
计算与语言
2022-05-06 v1
摘要
开放域对话系统被期望在多个领域生成同样优质的回复。先前工作在单一语料上取得了良好性能，但在来自不同领域的多个语料上进行训练与评估则较少被研究。本文探索了针对多个多领域语料中的每一个生成相关回复的方法。我们首先考察了将多个语料交织作为基线的交错学习。接着我们研究了两种多领域学习方法：标记学习与多任务标记学习，它们通过独特的语料嵌入对每个语料进行编码。此外，我们提出了领域特定频率（DF），一种衡量词相对于其他语料对特定语料相对重要性的新颖词级重要性权重。基于DF，我们提出了加权学习，一种将DF整合进损失函数的方法。我们也采用DF作为新的评估指标。大量实验表明，我们的方法在自动与人工评估上均获得显著提升。我们共享了代码与数据以保证可复现性。
引用
@article{arxiv.2205.02570,
title = {Balancing Multi-Domain Corpora Learning for Open-Domain Response Generation},
author = {Yujie Xing and Jinglun Cai and Nils Barlaug and Peng Liu and Jon Atle Gulla},
journal= {arXiv preprint arXiv:2205.02570},
year = {2022}
}
备注
Findings of NAACL 2022