面向多模态大语言模型的 Chrono：表示时间的简单蓝图
摘要
最近的大型语言模型 (LLM) 成功推动了多模态领域的发展，发展了 image-text 多模态 LLM (MLLMs) 以及 video-text 模型。在本工作中，我们研究了 video-language 模型中情境和 temporal 理解的挑战，通过探索 video 中的 temporal localisation 任务。为了解决这个问题，prior works 开发了复杂的 task-specific 架构、 novel 模块来将 time 嵌入 MLLMs，或利用额外的输入信号如 video transcript 来 best 编码情境和 temporal 信息。我们发现，这些努力大多被一种 much simpler 的设计所超越。在我们工作中，我们引入了 Chrono，一个 universal sequence blueprint，可应用于任何 image-text 预训练 MLLM。在广泛的实验中涵盖不同的 MLLM 架构和大小、finetuning 和 zero-shot 设置，我们在 Charades-STA、QVHighlights 和 ActivityNet Captions 等广泛使用的基准测试上的 moment retrieval 中实现了 new state-of-the-art 结果，以及在 NExT-GQA 上的 grounded video question answering 中取得卓越成绩。
引用
@article{arxiv.2406.18113,
title = {Chrono: A Simple Blueprint for Representing Time in MLLMs},
author = {Hector Rodriguez and Boris Meinardus and Anil Batra and Anna Rohrbach and Marcus Rohrbach},
journal= {arXiv preprint arXiv:2406.18113},
year = {2026}
}
备注
Code: https://github.com/sudo-Boris/mr-Blip. Submitted to IEEE Transactions on Pattern Analysis and Machine Intelligence (TPAMI). Under review