CRIPP-VQA：通过视频问答对隐式物理属性进行反事实推理
计算机视觉与模式识别
2022-11-08 v1 计算与语言
摘要
视频通常捕捉物体、其可见属性、其运动以及不同物体间的相互作用。物体还具有诸如质量等物理属性，这是成像流程无法直接捕捉的。然而，这些属性可利用来自相对物体运动和碰撞引入的动力学线索来估计。在本文中，我们引入 CRIPP-VQA，一个用于推理场景中物体隐式物理属性的新视频问答数据集。CRIPP-VQA 包含运动中的物体视频，标注有涉及关于动作效果的反事实推理问题、关于为达成目标进行规划的问题，以及关于物体可见属性的描述性问题。CRIPP-VQA 测试集支持在若干分布外设定下评估——视频中物体的质量、摩擦系数和初速度与训练分布中观察到的不同。我们的实验揭示了在回答隐式属性（本文焦点）与物体显式属性（先前工作焦点）问题之间令人惊讶的显著性能差距。
引用
@article{arxiv.2211.03779,
title = {CRIPP-VQA: Counterfactual Reasoning about Implicit Physical Properties via Video Question Answering},
author = {Maitreya Patel and Tejas Gokhale and Chitta Baral and Yezhou Yang},
journal= {arXiv preprint arXiv:2211.03779},
year = {2022}
}
备注
Accepted to EMNLP 2022; https://maitreyapatel.com/CRIPP-VQA/