面向多模态推荐的语义引导特征蒸馏
信息检索
2023-08-08 v1 多媒体
摘要
多模态推荐利用与用户或物品相关的丰富多模态信息来增强表征学习，从而获得更好的性能。在这些方法中，通常采用端到端特征提取器（如浅层/深层神经网络）对预训练模型从原始数据中提取的通用多模态特征进行裁剪以用于推荐。然而，紧凑型提取器（如浅层神经网络）可能难以从复杂高维的通用模态特征中提取有效信息。相反，基于DNN的提取器可能会遇到推荐中的数据稀疏问题。为解决该问题，我们提出了一种名为语义引导特征蒸馏（SGFD）的新型模型无关方法，其采用师生框架来提取多模态推荐特征。教师模型首先通过同时考虑物品的语义信息和多模态的互补信息，从通用模态特征中提取丰富的模态特征。SGFD随后利用基于响应和基于特征的蒸馏损失，将教师模型中编码的知识有效迁移至学生模型。为评估SGFD的有效性，我们将SGFD集成到三个骨干多模态推荐模型中。在三个公开真实世界数据集上的大量实验表明，SGFD增强的模型相比其对应模型取得了显著提升。
引用
@article{arxiv.2308.03113,
title = {Semantic-Guided Feature Distillation for Multimodal Recommendation},
author = {Fan Liu and Huilin Chen and Zhiyong Cheng and Liqiang Nie and Mohan Kankanhalli},
journal= {arXiv preprint arXiv:2308.03113},
year = {2023}
}
备注
ACM Multimedia 2023 Accepted