基于过程思维的视频推理
计算机视觉与模式识别
2026-02-10 v1 人工智能
摘要
视频理解不仅需要识别视觉内容，还需要对长时间且噪声较大的观察进行时间上有依托的，多步骤推理。我们提出了视频过程思维（Process-of-Thought, PoT）推理框架，通过将视频推理结构化为一系列轻量、可验证的步骤，使推理过程变得显式。PoT 交错地包含（i）时间证据选择、（ii）逐步状态更新、（iii）受约束的答案综合，使模型能够在保持与视频证据可追溯性的同时，逐步细化假设。该框架设计为模型无关型，可插入到现有的视觉语言主干网络中，支持封闭书籍推理和基于外部工具的证据增强推理。我们进一步引入了统一的 PoT 痕迹表示，将中间决策与时间段对齐，从而提高对干扰项的鲁棒性并减少幻觉解释。大量实验表明，PoT 在标准视频推理任务上均能显著提升事实正确性和时间定位能力，同时为诊断和下游任务提供可解释的推理痕迹。
引用
@article{arxiv.2602.07689,
title = {Process-of-Thought Reasoning for Videos},
author = {Jusheng Zhang and Kaitong Cai and Jian Wang and Yongsen Zheng and Kwok-Yan Lam and Keze Wang},
journal= {arXiv preprint arXiv:2602.07689},
year = {2026}
}