我还喜欢什么？使用替代品的用户模拟器以改进时尚对话推荐系统的评估
信息检索
2024-01-12 v1
摘要
在对话推荐系统（CRS）中，用户可以在每个交互轮次对推荐项目提供反馈，引导 CRS 朝着更理想的推荐方向发展。目前，不同类型的 CRS 提供了多种反馈可能性，例如自然语言反馈或回答澄清性问题。在大多数情况下，用户模拟器被用于训练和评估 CRS。此类用户模拟器通常基于对单个目标项目的了解来批评当前检索到的项目。然而，在离线环境中使用模拟器评估系统存在一些问题，例如完全聚焦于单个目标项目（未解决推荐系统的探索性本质），以及表现出极大的耐心（在大量轮次中提供一致的反馈）。为了克服这些限制，我们在常见的 CRS 数据集（即 Shoes 和 Fashion IQ Dresses）中为一系列替代项目获取了额外的评判。更进一步，我们提出了改进的用户模拟器，允许模拟用户不仅表达他们对原始目标之外替代项目的偏好，还可以改变主意和耐心程度。在使用相对图像描述 CRS 设置和不同 CRS 模型的实验中，我们发现模拟器利用替代品的知识会对现有 CRS 模型的评估产生显著影响，具体而言，现有的单目标评估低估了它们的有效性，而当允许模拟用户转而考虑替代品时，系统可以快速响应以更快地满足用户。
引用
@article{arxiv.2401.05783,
title = {What Else Would I Like? A User Simulator using Alternatives for Improved Evaluation of Fashion Conversational Recommendation Systems},
author = {Maria Vlachou and Craig Macdonald},
journal= {arXiv preprint arXiv:2401.05783},
year = {2024}
}