MCP：基于多级对比采样的个性化聊天机器人自监督预训练
计算与语言
2022-12-15 v4 人工智能
机器学习
摘要
个性化聊天机器人致力于赋予聊天机器人一致的人格，使其表现得像真实用户并进一步充当个人助手。以往研究探索从用户对话历史中生成隐式用户画像以构建个性化聊天机器人。然而，这些研究仅使用回复生成损失来训练整个模型，因此容易遭受数据稀疏性问题。此外，它们过度强调最终生成回复的质量，而忽略了用户对话历史之间的关联与融合，导致粗糙的数据表示与性能下降。为解决这些问题，我们提出一种自监督学习框架 MCP，用于从用户对话历史中捕获更好的表示以服务于个性化聊天机器人。具体而言，我们应用对比采样方法利用隐藏于用户对话历史中的监督信号，并生成预训练样本以增强模型。我们基于用户对话历史中的三类对比对（即回复对、序列增强对和用户对）设计了三项预训练任务。我们针对对比目标预训练话语编码器与历史编码器，并将这些预训练编码器用于生成用户画像及个性化回复生成。在两个真实世界数据集上的实验结果表明，与现有方法相比，我们提出的 MCP 模型取得了显著提升。
引用
@article{arxiv.2210.08753,
title = {MCP: Self-supervised Pre-training for Personalized Chatbots with Multi-level Contrastive Sampling},
author = {Zhaoheng Huang and Zhicheng Dou and Yutao Zhu and Zhengyi Ma},
journal= {arXiv preprint arXiv:2210.08753},
year = {2022}
}