VistaDPO：面向大视频模型的视频层次化时空直接偏好优化
计算机视觉与模式识别
2025-04-18 v1 机器学习
摘要
基于大语言模型（LLM）的大型视频模型（LVM）在视频理解方面显示出前景，但常常与人类直觉不一致，存在视频幻觉问题。为解决这些挑战，我们提出VistaDPO，这是一种 novel 的视频层次化时空直接偏好优化框架。VistaDPO 通过三个层次增强文本-视频偏好对齐：i) 实例层次，对齐整体视频内容与响应；ii) 时序层次，对齐视频时序语义与事件描述；iii) 感知层次，对齐空间对象与语言标记。鉴于缺乏针对细粒度视频语言偏好对齐的数据集，我们构建了VistaDPO-7k，包含7.2K个带选择和拒绝响应的QA对，以及时间戳、关键帧和边界框等空间时序 grounding 信息。在Video Hallucination、Video QA和Captioning等基准测试上进行的大量实验表明，VistaDPO显著提高了现有LVM的性能，有效缓解了视频语言错位和幻觉问题。代码和数据可在 https://github.com/HaroldChen19/VistaDPO 获取。
引用
@article{arxiv.2504.13122,
title = {VistaDPO: Video Hierarchical Spatial-Temporal Direct Preference Optimization for Large Video Models},
author = {Haojian Huang and Haodong Chen and Shengqiong Wu and Meng Luo and Jinlan Fu and Xinya Du and Hanwang Zhang and Hao Fei},
journal= {arXiv preprint arXiv:2504.13122},
year = {2025}
}
备注
Code and Data: https://github.com/HaroldChen19/VistaDPO