面向基于共情 AI 的生成式对抗模仿学习
计算与语言
2021-05-28 v1
摘要
生成式对抗模仿学习（GAIL）是一种无模型算法，已被证明能在高维环境中模仿复杂行为方面提供强劲结果。在本文中，我们利用 GAIL 模型进行文本生成，以开发基于共情、上下文感知的对话 AI。我们的模型使用共情提示-应答对话的专家轨迹，其在生成应答时能准确展现出正确的共情情绪。GAIL 模型的生成器使用在 40 GB 互联网数据上以 1.17 亿参数训练的 GPT-2 序列预训练语言模型。我们提出了一种迁移学习中方法的全新应用，以微调 GPT-2 模型，从而生成简洁的、用户特定的共情应答，并与判别器进行验证。我们新颖的 GAIL 模型利用基于情感分析历史的强化学习方法来以个性化方式共情地应答人类交互。我们发现，在从 Facebook Empathetic Dialogues 数据集收集的各种人类生成提示上，我们模型的应答得分优于基线对应模型。此外，我们的模型改进了近期开发的多种基于历史的对话 AI 模型，因为我们模型在持续 3 次或更多次交互的对话中的表现优于类似对话 AI 模型。
引用
@article{arxiv.2105.13328,
title = {Generative Adversarial Imitation Learning for Empathy-based AI},
author = {Pratyush Muthukumar and Karishma Muthukumar and Deepan Muthirayan and Pramod Khargonekar},
journal= {arXiv preprint arXiv:2105.13328},
year = {2021}
}
备注
11 pages, 6 figures