MAGMaR 共享任务系统描述：基于 OmniEmbed 的视频检索
信息检索
2025-06-12 v1
摘要
有效的视频检索仍然具有挑战性，原因在于需要整合视觉、听觉和文本等多种模态。在本文中，我们探索了使用 OmniEmbed（Tevatron 2.0 工具包中的强大多模态嵌入模型）的统一检索方法，并在 MAGMaR 共享任务的背景下进行评估。在全面的 MultiVENT 2.0 数据集上进行评估时，OmniEmbed 为文本、图像、音频和视频生成统一嵌入，从而实现鲁棒的多模态检索。通过使用 MultiVENT 2.0 中提供的视觉帧、音频轨道和文本描述组合对 OmniEmbed 进行微调，我们在复杂的多语言视频检索任务中取得了显著提升。我们的提交在截至 2025 年 5 月 20 日的 MAGMaR 共享任务排行榜上取得了公开提交中的最高分，凸显了我们统一多模态检索方法的实际有效性。本工作中的模型检查点已开源。
引用
@article{arxiv.2506.09409,
title = {MAGMaR Shared Task System Description: Video Retrieval with OmniEmbed},
author = {Jiaqi Samantha Zhan and Crystina Zhang and Shengyao Zhuang and Xueguang Ma and Jimmy Lin},
journal= {arXiv preprint arXiv:2506.09409},
year = {2025}
}