基于神经符号知识推理的程序视频问答
计算机视觉与模式识别
2026-01-29 v5
摘要
本文提出知识模块学习 (KML)，用于理解和推理需要模型学习结构化和组合化程序知识的程序任务。KML 是一种神经符号框架，学习知识图谱中关系类别作为神经知识模块，并通过大型语言模型 (LLM) 生成的可执行推理程序来组合这些模块。每个模块编码特定的程序关系，捕捉实体类型（如工具）与步骤、每个工具的用途以及每个任务的步骤之间的关系。给定以视频中显示的任务为条件的问题后，KML 进行多步推理，执行具有透明和可追溯中间状态的推理。我们的理论分析表明，KML 满足将知识图谱关系建模为神经映射的强 optimal 条件，为通用程序推理提供了坚实的基础。它还显示了在进行多步推理时其预期误差的上界。为评估此模型，我们构建了一个大型程序知识图谱 (PKG)，通过整合 COIN 指令视频数据集、COIN 本体、来自 ConceptNet 的常识关系以及来自 LLM 的结构化抽取，并经过专家验证。随后通过在 PKG 上应用图遍历模板生成问题和答案对，构建了用于程序知识推理的 PKR-QA 基准。实验表明，KML 在结构化推理性能方面取得改进，同时提供了可解释的逐步推理痕迹，超越了仅使用 LLM 或黑箱神经基线的方法。代码已公开 disponible at https://github.com/LUNAProject22/KML。
引用
@article{arxiv.2503.14957,
title = {Neuro Symbolic Knowledge Reasoning for Procedural Video Question Answering},
author = {Basura Fernando and Thanh-Son Nguyen and Hong Yang and Tzeh Yuan Neoh and Hao Zhang and Ee Yeo Keat},
journal= {arXiv preprint arXiv:2503.14957},
year = {2026}
}
备注
This paper is under review at IEEE Transactions on Neural Networks and Learning Systems. Personal use is permitted, but republication/redistribution requires IEEE permission