如何构建用户模拟器以训练基于强化学习的对话系统

用户模拟器对于训练基于强化学习（RL）的对话模型至关重要。模拟器的性能直接影响 RL 策略。然而，构建一个建模真实用户行为的良好用户模拟器具有挑战性。我们提出了一种标准化用户模拟器构建的方法，社区可使用该方法借助同一组用户模拟器公平地比较对话系统质量。我们展示了使用不同对话规划与生成方法训练的六个用户模拟器的实现。然后我们计算一组自动指标来直接和间接地评估这些模拟器的质量。我们还要求人类用户通过评价模拟对话并与训练后的系统进行交互来直接和间接地评估模拟器。本文提出了一种用于用户模拟器研究的综合评估框架，并更好地理解了不同用户模拟器的优缺点及其对训练后系统的影响。