基于 Transformer 的 DuerOS 主动交互机制用户满意度预测

近年来，语音对话系统已广泛应用于各类场景，服务于海量终端用户。一个常见问题是，由噪声语音、语义误解或知识缺失导致的错误使得真实系统难以做出恰当响应，并可能导致不佳的用户体验。为避免此类情况，我们考虑一种主动交互机制：系统在将候选回复提供给用户之前，先预测用户对该候选回复的满意度。若根据预测用户不太可能满意，系统将向用户提出一个合适的问题以确定其真实意图，而非直接提供回复。通过此种与用户的交互，系统可给出更好的回复。以往预测用户满意度的模型不适用于大规模商业对话系统 DuerOS。它们基于手工特征，因而难以学习数百万对话背后及多轮对话中时间依赖的复杂模式。此外，它们在带有充分标签的基准数据集上训练和评估，而在商业对话系统中获取此类标签代价高昂。为应对这些挑战，我们提出一种流水线以预测用户满意度，帮助 DuerOS 决策每轮是否请求澄清。具体而言，我们提出先生成大量弱标签，再训练一个基于 transformer 的模型利用这些弱标签预测用户满意度。在经验上，我们在 DuerOS 上部署并评估了我们的模型，观察到用户满意度预测准确率相对提升 19%，用户体验相对提升 2.3%。