基于 Empathetic BERT2BERT 的对话模型：以少量数据学习阿拉伯语生成
计算与语言
2021-03-09 v1
摘要
在阿拉伯语对话智能体中实现共情行为是构建类人对话模型的重要方面。尽管阿拉伯语自然语言处理在基于 AraBERT 等语言模型的天然语言理解（NLU）方面取得了显著进展，但自然语言生成（NLG）仍具挑战。NLG 编码器-解码器模型的不足主要源于缺乏适合训练对话智能体等 NLG 模型的阿拉伯语数据集。为克服该问题，我们提出了一种以 AraBERT 参数初始化的基于 Transformer 的编码器-解码器。通过用 AraBERT 预训练权重初始化编码器与解码器权重，我们的模型得以利用知识迁移并提升回复生成性能。为使对话模型具备共情能力，我们使用 ArabicEmpatheticDialogues 数据集进行训练，并在共情回复生成中取得高性能。具体而言，与先前最优模型相比，我们的模型困惑度低至 17.0，BLEU 分数提升 5 点。此外，85 名人类评估者对所述模型给予高度评价，验证了其在开放域场景下生成相关且流畅回复时展现共情的高能力。
引用
@article{arxiv.2103.04353,
title = {Empathetic BERT2BERT Conversational Model: Learning Arabic Language Generation with Little Data},
author = {Tarek Naous and Wissam Antoun and Reem A. Mahmoud and Hazem Hajj},
journal= {arXiv preprint arXiv:2103.04353},
year = {2021}
}