Deep Video Discovery: 基于工具使用的智能视频搜索策略 for 长时段视频理解

长时段视频理解因其广泛的时间-空间复杂性以及在此类扩展上下文环境下的问答任务，面临着显著挑战。虽然大语言模型（LLM）在视频分析能力和长上下文处理方面取得了显著进展，但在处理信息密集型的小时级视频时，仍表现出局限。为此，我们提出 Deep Video Discovery（DVD）智能体，通过对分段视频剪辑进行智能搜索策略来克服上述限制。不同于依赖在不同查询下统一应用的预定义工作流程的前序视频智能体，本方法强调智能体的自主性和适应性。通过提供一套基于多粒度视频数据库的搜索导向工具，DVD 智能体能够利用大语言模型的高级推理能力，对当前观察状态进行规划，战略性地选择工具以构建针对不同查询的自适应工作流程。我们在多个长视频理解基准上进行了全面评估，结果表明我们取得了优势。DVD 智能体在具有挑战性的 LVBench 数据集上实现了最先进的性能，准确率达 74.2%，显著超越所有前序工作；随后使用转录文本进一步提升至 76.0%。代码已公开于 https://github.com/microsoft/DeepVideoDiscovery。