HistLLM：基于用户历史编码与压缩的 LLM 多模态推荐统一框架
信息检索
2025-04-23 v2 多媒体
摘要
虽然大语言模型（LLM）在利用文本数据进行推荐方面已证明有效，但其在多模态推荐任务中的应用仍相对有限。虽然 LLM 可通过将视觉特征映射到其语义空间的投影函数来处理多模态信息，但推荐任务往往需要将用户历史交互组合为包含文本和视觉元素的长提示，这不仅会阻碍训练和推理效率，还使模型难以准确捕获用户偏好，导致推荐性能下降。为此，我们引入 HistLLM，一种创新的多模态推荐框架，通过用户历史编码模块（UHEM）将文本和视觉特征整合到单一标记表示中，有效促进 LLM 处理用户偏好。广泛实验表明，我们提出机制的有效性和效率。
引用
@article{arxiv.2504.10150,
title = {HistLLM: A Unified Framework for LLM-Based Multimodal Recommendation with User History Encoding and Compression},
author = {Chen Zhang and Bo Hu and Weidong Chen and Zhendong Mao},
journal= {arXiv preprint arXiv:2504.10150},
year = {2025}
}
备注
We want to withdraw this paper and revise its experimental details. The revised version will be uploaded after further verification