揭示隐藏关联：面向视频接地对话的迭代搜索与推理
计算机视觉与模式识别
2025-03-13 v4 人工智能
摘要
与常规视觉问答不同，视频接地对话需要深入理解对话历史与视频内容以生成准确回复。尽管现有方法取得了可喜进展，仍面临逐步理解复杂对话历史与吸收视频信息的挑战。针对这些挑战，我们提出一种迭代搜索与推理框架，由文本编码器、视觉编码器与生成器组成。具体而言，我们在文本编码器中设计路径搜索与聚合策略，从对话历史中挖掘对理解所提问题至关重要的核心线索。同时，我们的视觉编码器利用迭代推理网络从视频中提取并强调关键视觉标记，增强视觉理解深度。最后，我们使用预训练GPT-2模型作为答案生成器，将挖掘的隐藏线索解码为连贯且具上下文的回答。在三个公开数据集上的大量实验证明了我们所提框架的有效性与泛化能力。
引用
@article{arxiv.2310.07259,
title = {Uncovering Hidden Connections: Iterative Search and Reasoning for Video-grounded Dialog},
author = {Haoyu Zhang and Meng Liu and Yisen Feng and Yaowei Wang and Weili Guan and Liqiang Nie},
journal= {arXiv preprint arXiv:2310.07259},
year = {2025}
}