基于静态关系的视频问答中的类型内与类型间消息传递
计算机视觉与模式识别
2025-04-04 v1 人工智能
摘要
视频问答（VideoQA）是人工智能领域的重要研究方向，使机器能够理解视频内容并基于自然语言问题进行推理和回答。尽管基于静态关系推理的方法取得了一定进展，但仍存在静态关系识别与表示 accuracy 的不足，以及未充分利用视频中静态关系信息进行深入推理和分析的不足。因此，本文提出了一种基于静态关系的类型内和类型间消息传递推理方法。该方法为类型内消息传递推理构建双图谱，基于静态关系构建异构图谱用于类型间消息传递推理。类型内消息传递推理模型在双图谱中捕获与问题相关的目标及其关系的邻域信息，更新双图谱以获取用于回答问题的类型内线索。类型间消息传递推理模型在异构图谱中捕获来自不同类别的目标及其关系的邻域信息，更新异构图谱以获取用于回答问题的类型间线索。最后，结合基于静态关系的类型内和类型间线索进行答案推断。在ANetQA和Next-QA数据集上的实验结果表明，该方法有效。
引用
@article{arxiv.2504.02417,
title = {Leveraging Static Relationships for Intra-Type and Inter-Type Message Passing in Video Question Answering},
author = {Lili Liang and Guanglu Sun},
journal= {arXiv preprint arXiv:2504.02417},
year = {2025}
}