我们在优化什么？基于深度学习的电影推荐系统以人为中心的评估

在过去十年中，深度学习模型因其在推荐系统基准数据集上的卓越准确性而备受关注。然而，它们的评估主要依赖离线指标，忽视了用户的直接感知和体验。为弥补这一差距，我们对电影领域的四个领先深度学习推荐系统模型进行了以人为中心的评估案例研究。我们通过445名真实活跃用户的调查研究，测试了不同深度学习推荐系统模型在个性化推荐生成中的表现。我们发现，与经典协同过滤方法相比，某些深度学习推荐系统模型在推荐新颖和意外项目方面表现更优，但在多样性、可信度、透明度、准确性和整体用户满意度方面较弱。为进一步解释表现不佳的原因，我们进行了全面的路径分析。我们发现，深度学习模型缺乏多样性和过多的意外性会负面影响后续感知到的透明度和个性化，最终导致较低的综合用户满意度。定性上，我们通过真实用户引述确认，准确性加上至少一个其他属性是确保良好用户体验的必要条件，而用户对透明度和信任的需求不可忽视。基于我们的发现，我们讨论了未来以人为中心的深度学习推荐系统设计和优化策略。