Ducho：推荐系统中多模态特征提取的统一框架
信息检索
2023-09-07 v2 多媒体
摘要
在多模态感知推荐中，有意义的多模态特征提取是高质量推荐的基础。通常，每个推荐框架都以特定策略和工具实现其多模态提取流程。这在两方面具有局限性：（i）不同的提取策略不利于多模态推荐框架间的相互依赖，因此无法高效且公平地比较；（ii）鉴于不同开源工具提供的大量预训练深度学习模型，模型设计者无法获得用于提取特征的共享接口。受上述方面启发，我们提出 \framework，一个用于推荐中多模态特征提取的统一框架。通过集成三个广泛采用的深度学习库作为后端，即 TensorFlow、PyTorch 和 Transformers，我们提供了提取与处理特征的共享接口，其中各后端的具体方法对终端用户是抽象的。值得注意的是，提取流程可通过基于 YAML 的文件轻松配置，用户可针对每种模态指定用于执行提取的模型列表（及其特定后端/参数）。最后，为使 \framework 对社区开放，我们构建了一个配备即用型 CUDA 环境的公共 Docker 镜像，并提出了三个演示以针对不同场景与任务测试其功能。GitHub 仓库与文档可通过此链接访问：https://github.com/sisinflab/Ducho。
引用
@article{arxiv.2306.17125,
title = {Ducho: A Unified Framework for the Extraction of Multimodal Features in Recommendation},
author = {Daniele Malitesta and Giuseppe Gassi and Claudio Pomo and Tommaso Di Noia},
journal= {arXiv preprint arXiv:2306.17125},
year = {2023}
}