大语言模型与模板化电影推荐解释的用户偏好:一项试点研究
信息检索
2024-09-12 v1 人机交互
机器学习
摘要
推荐系统已成为我们数字体验中不可或缺的组成部分,从线上购物到流媒体平台。然而,他们建议背后的依据常常对用户而言是不可见的。虽然某些系统采用基于图的方法,通过关联推荐物品与种子物品的路径来提供内在可解释性,但非专业用户难以轻松理解这些解释。一种流行的替代方法是将基于图的解释转换为文本形式,采用模板和算法,我们在此称为“模板化”解释。然而,这些解释有时显得不够个人化或不够有吸引力。一种新方法是采用大语言模型 (LLM) 进行此目的,我们在此称为“LLM 化”。为评估 LLM 在生成更具共鸣解释方面的效果,我们进行了一项 25 名参与者的试点研究。他们被呈现给三种解释:(1) 传统模板化解释、(2) LLM 化的模板输出重新表述,以及 (3) 纯粹基于 LLM 的解释,源自基于图的解释。尽管受到高方差的影响,初步发现表明 LLM 化的解释可能提供更丰富、更具吸引力的用户体验,进一步符合用户期望。这项研究揭示了当前解释方法的潜在局限性,并为利用大语言模型提高用户满意度和信任度提供了有前景的方向。
引用
@article{arxiv.2409.06297,
title = {User Preferences for Large Language Model versus Template-Based Explanations of Movie Recommendations: A Pilot Study},
author = {Julien Albert and Martin Balfroid and Miriam Doh and Jeremie Bogaert and Luca La Fisca and Liesbet De Vos and Bryan Renard and Vincent Stragier and Emmanuel Jean},
journal= {arXiv preprint arXiv:2409.06297},
year = {2024}
}
备注
Presented to the Dutch-Belgian Workshop on Recommender Systems 2023 (14-15 December, 2023 - Antwerp, Belgium)