面向对话智能体高效用户满意度预测的自监督对比学习

轮次级用户满意度是对话智能体最重要的性能指标之一。它可用于监控智能体表现并提供关于缺陷用户体验的洞察。此外，一个强大的满意度模型可用作对话智能体持续优化的目标函数。尽管端到端深度学习已展现出有前景的结果，但获取这些方法所需的大量可靠标注样本仍然具有挑战性。在大规模对话系统中，新开发的技能数量不断增长，使得传统的数据收集、标注与建模流程因所需的标注成本及周转时间而不切实际。在本文中，我们提出一种自监督对比学习方法，利用未标注数据池来学习用户-智能体交互。我们展示了使用自监督目标预训练的模型可迁移至用户满意度预测。此外，我们提出一种新颖的小样本迁移学习方法，确保极少量样本下的更好可迁移性。所提小样本方法不需要任何内循环优化过程，并可扩展至极大数据集与复杂模型。基于使用来自大规模商业系统的真实世界数据的实验，所提方法能够显著减少所需标注数量，同时提升在未见域外技能上的泛化能力。