MamFusion：用于部分相关视频检索的多 Mamba 时间融合
计算机视觉与模式识别
2025-06-05 v1
摘要
部分相关视频检索(PRVR) 是多媒体检索领域的一个具有挑战性的任务。旨在识别并检索与提供的查询部分相关的未剪辑视频。在本工作中，我们针对信息冗余问题，探索了长序列视频内容理解。利用 Mamba 模块在长期状态空间建模方面的卓越能力和线性可扩展性，我们提出了针对 PRVR 任务的多 Mamba 模块与时间融合框架(MamFusion)。该框架有效捕获长期视频内容中的状态相关性，并无缝地将其整合到文本-视频相关性理解中，从而增强检索过程。具体而言，我们引入了 Temporal T-to-V Fusion 和 Temporal V-to-T Fusion，以显式建模文本查询与视频时段之间的时间关系，从而提高上下文感知和检索准确性。在大型数据集上进行的大量实验表明，MamFusion 在检索效果方面实现了最新水平性能。代码链接: https://github.com/Vision-Multimodal-Lab-HZCU/MamFusion。
引用
@article{arxiv.2506.03473,
title = {MamFusion: Multi-Mamba with Temporal Fusion for Partially Relevant Video Retrieval},
author = {Xinru Ying and Jiaqi Mo and Jingyang Lin and Canghong Jin and Fangfang Wang and Lina Wei},
journal= {arXiv preprint arXiv:2506.03473},
year = {2025}
}