BDIQA：一个通过心智理论探索认知推理的视频问答新数据集
多媒体
2024-02-13 v1 人工智能
摘要
作为认知智能的基础组成部分，心智理论（ToM）能使人工智能更接近人类思维过程，从而增强其与人类的互动与协作。特别是，它能显著提升模型对复杂场景中视频的理解能力。然而，当前的视频问答（VideoQA）数据集侧重于研究事件内的因果推理，很少真正融入人类心智理论。因此，在VideoQA领域内，心智理论推理任务的发展存在不足。本文提出了BDIQA，这是首个在ToM背景下探索VideoQA模型认知推理能力的基准。BDIQA受儿童心智理论认知发展的启发，旨在解决当前数据集和任务中机器ToM的缺陷。具体而言，它提供了两个难度级别的任务，分别评估简单和复杂场景下的信念、愿望和意图（BDI）推理。我们对几种主流的VideoQA方法进行了评估，并通过零样本、少样本和监督学习诊断其能力。我们发现，预训练模型在认知推理任务上的表现仍不理想。为应对这一挑战，我们进行了深入的分析和实验，最终基于消融分析提出了两条增强认知推理的指导原则。
引用
@article{arxiv.2402.07402,
title = {BDIQA: A New Dataset for Video Question Answering to Explore Cognitive Reasoning through Theory of Mind},
author = {Yuanyuan Mao and Xin Lin and Qin Ni and Liang He},
journal= {arXiv preprint arXiv:2402.07402},
year = {2024}
}