Mavors：面向多模态大语言模型的多粒度视频表示

多模态大语言模型（MLLM）中的长上下文视频理解面临一个关键挑战：在保持细粒度时空模式的同时实现计算效率。现有方法（如稀疏采样、低分辨率稠密采样和 token 压缩）在时序动态、空间细节或细微互动方面存在显著信息丢失，尤其是在运动复杂或分辨率变化的视频中。为解决此问题，我们提出了 $\mathbf{Mavors}$，一种一种新颖框架，引入 $\mathbf{M}$ulti-granularity $\mathbf{v}$ideo $\mathbf{r}$epresentation for holistic long-video modeling。具体而言，Mavors 通过两个核心组件直接编码原始视频内容以生成潜在表示：1）Intra-chunk Vision Encoder（IVE），通过 3D 卷积和 Vision Transformer 保留高分辨率空间特征；2）Inter-chunk Feature Aggregator（IFA），使用基于块级旋转位置编码的 transformer-based 依赖建模在块之间建立时序一致性。此外，该框架通过将图像视为单帧视频（通过子图像分解）来统一图像和视频理解。跨越多个基准数据集的实验表明，Mavors 在保持空间保真度和时序连续性方面具有优势，在需要细粒度时空推理的任务中显著优于现有方法。