预测用户参与状态以实现智能助理的在线评估

大规模在线环境下智能助理的评估仍是一项开放挑战。基于用户行为的在线评估指标在监控大规模网页搜索和推荐系统中已展现出极大有效性。因此，我们将预测用户参与状态视为智能助理在线评估非常首要且关键的一步。本工作中，我们首先提出了一个将用户参与状态分类为四类——满足、延续、重构和放弃——的新框架。随后我们展示了如何基于该框架设计简单但具指示性的指标来量化用户参与水平。我们也旨在用机器学习方法自动化用户参与预测。我们使用四个真实世界数据集比较了用于预测参与状态的各种模型和特征。我们对特征和失败案例进行了详细分析，以讨论当前模型的性能及挑战。