模拟之前先思考：符号推理驱动神经计算以回答反事实问题
人工智能
2025-06-13 v1
摘要
关于视频动态的因果和时间推理是一个具有挑战性的问题。虽然结合符号推理与基于神经的感知和预测的神经符号模型已显示出前景，但它们在回答反事实问题时存在局限性。本文提出了一种方法，通过利用关于事件间因果关系的符号推理来增强神经符号模型的反事实推理能力。我们定义了因果图的概念来表示此类关系，并使用答案集编程（Answer Set Programming, ASP）——一种声明式逻辑编程方法——来寻找如何协调感知和模拟模块。我们在两个基准数据集 CLEVRER 和 CRAFT 上验证了该方法的有效性。我们的增强方法在 CLEVRER 挑战上达到了最先进的性能，显著优于现有模型。对于 CRAFT 基准数据集，我们利用大型预训练语言模型（如 GPT-3.5 和 GPT-4）作为动力学模拟器的代理。我们的研究结果表明，通过提供由符号因果推理指导的替代提示，该方法可以进一步提高其在反事实问题上的性能。
引用
@article{arxiv.2506.10753,
title = {Think before You Simulate: Symbolic Reasoning to Orchestrate Neural Computation for Counterfactual Question Answering},
author = {Adam Ishay and Zhun Yang and Joohyung Lee and Ilgu Kang and Dongjae Lim},
journal= {arXiv preprint arXiv:2506.10753},
year = {2025}
}
备注
In Proceedings the IEEE/CVF Winter Conference on Applications of Computer Vision (WACV 2024)