跨模态检索：方法综述与未来方向
信息检索
2024-10-01 v3 多媒体
摘要
随着多样化多模态数据的指数级激增，传统的单模态检索方法难以满足用户跨多种模态访问数据的需求。为此，跨模态检索应运而生，它实现了模态间的交互、促进了语义匹配，并利用了异构数据间的一致性与互补性。尽管已有文献对跨模态检索领域进行了综述，但在时效性、分类体系和全面性方面存在诸多不足。本文对跨模态检索的演进进行了全面综述，涵盖从浅层统计分析技术到视觉-语言预训练模型。文章以基于机器学习范式、机制与模型的综合分类体系为起点，深入剖析现有跨模态检索方法背后的原理与架构。此外，还概述了广泛使用的基准、指标与性能表现。最后，文章探讨了当代跨模态检索所面临的前景与挑战，并对该领域进一步发展的潜在方向进行讨论。为便利跨模态检索的持续研究，我们在 https://cross-modal-retrieval.github.io 开发了一个用户友好的工具箱与开源仓库。
引用
@article{arxiv.2308.14263,
title = {Cross-Modal Retrieval: A Systematic Review of Methods and Future Directions},
author = {Tianshi Wang and Fengling Li and Lei Zhu and Jingjing Li and Zheng Zhang and Heng Tao Shen},
journal= {arXiv preprint arXiv:2308.14263},
year = {2024}
}