QARM：快手的多模态量化对齐推荐
信息检索
2024-11-19 v1 人工智能
摘要
近年来，随着多模态大模型的显著演进，许多推荐系统研究者意识到了多模态信息在用户兴趣建模中的潜力。在工业界，一种广泛使用的建模范式是级联范式：(1) 首先预训练一个多模态模型，为下游服务提供通用的表示；(2) 下游推荐模型将多模态表示作为额外输入，以拟合真实的用户-物品行为。尽管这种范式取得了显著的改进，但仍存在两个限制模型性能的问题：(1) 表示不匹配：预训练的多模态模型始终由经典的 NLP/CV 任务监督，而推荐模型由真实的用户-物品交互监督。因此，这两个根本不同的任务目标相对分离，其表示缺乏一致的目标；(2) 表示遗忘：生成的多模态表示通常存储在缓存中，作为推荐模型的额外固定输入，因此无法通过推荐模型的梯度进行更新，这进一步不利于下游训练。受下游任务使用中这两个挑战的启发，我们引入了一个量化多模态框架，为不同的下游模型定制专门且可训练的多模态信息。
引用
@article{arxiv.2411.11739,
title = {QARM: Quantitative Alignment Multi-Modal Recommendation at Kuaishou},
author = {Xinchen Luo and Jiangxia Cao and Tianyu Sun and Jinkai Yu and Rui Huang and Wei Yuan and Hezheng Lin and Yichen Zheng and Shiyao Wang and Qigen Hu and Changqing Qiu and Jiaqi Zhang and Xu Zhang and Zhiheng Yan and Jingming Zhang and Simin Zhang and Mingxing Wen and Zhaojie Liu and Kun Gai and Guorui Zhou},
journal= {arXiv preprint arXiv:2411.11739},
year = {2024}
}
备注
Work in progress