InteraRec：基于截图的推荐系统——利用多模态大语言模型

Web日志由记录用户在任意网站上活动的记录组成，提供了关于用户偏好、行为和兴趣的宝贵见解。许多推荐算法采用协同过滤、基于内容的过滤和混合方法等策略，利用从这些Web日志中挖掘的数据为用户提供个性化推荐。尽管这些Web日志中信息丰富，但从其中识别和提取相关信息及关键特征需要大量的工程工作。数据的复杂性质也给解释带来了挑战，尤其是对于非专家而言。在本研究中，我们引入了一个复杂且交互式的推荐框架，称为InteraRec，它不同于传统仅依赖Web日志生成推荐的方法。InteraRec框架在用户浏览网站时捕获网页的高频截图。利用最先进的多模态大语言模型（MLLMs），它通过基于预定义关键词生成文本摘要，从这些截图中提取关于用户偏好的宝贵见解。随后，一个集成LLM的优化设置利用该摘要生成定制化推荐。通过实验，我们证明了InteraRec在为用户提供有价值的个性化服务方面的有效性。此外，我们探索了将会话式推荐系统集成到InteraRec框架中，旨在提升其整体性能。最后，我们整理了一个新数据集，包含亚马逊网站上产品网页的截图，用于验证InteraRec框架。详细实验证明了InteraRec框架在根据个体用户偏好提供有价值的个性化推荐方面的有效性。